• TOP
  • WORLD-TOPICS
  • 数学の歴史を、仮想/現実空間が融合したダンスで表現する。Rhizomatiks × ELEVENPLAY× Kyle McDonald「discrete figures」

WT

2022.12.15

数学の歴史を、仮想/現実空間が融合したダンスで表現する。Rhizomatiks × ELEVENPLAY× Kyle McDonald「discrete figures」

TEXT BY NANAMI SUDO,PHOTO BY YOSHIKAZU INOUE

“身体と数学”の関係性に着目し、その表現を試みた総合舞台芸術「discrete figures」が、ライゾマティクス・真鍋大度が大阪芸術大学アートサイエンス学科の客員教授に就任したことを記念し、大阪にて10月21日・22日の2日間公演が行われた。複雑化していく現代の数学やテクノロジーを、演出振付家のMIKIKOが手掛けるダンスはどう伝達可能にするのか。メディアアーティストのカイル・マクドナルドとのコラボレーションにより、生身の身体と仮想空間の存在の共演が実現した公演の様子をレポートする。

数学と身体は密接に結びつく

2018年から世界各都市を巡回しツアー上演され、世界でも類を見ないダンス表現の最先端に位置する、総合舞台芸術作品「discrete figures」。この度、ライゾマティクスの真鍋大度氏の大阪芸術大学アートサイエンス学科客員教授就任を記念して、2019年に行われた東京公演以来となる国内上演が実現した。今回の会場は、国内外の観光客に向けてエンターテインメントを発信することを目指し大阪城公園内に2019年に開設したばかりの、クールジャパンパーク大阪WWホール。会場には多くの観客が集まり、その注目度がうかがえた。

「discrete figures」はドイツのデュッセルドルフで滞在制作され、初公演を迎えたのはカナダのモントリオール。今回は機械学習などのシステムにアップデートが加わり、新しい会場の設備で立体感のある音の演出など、高いクオリティでできたと終演後のポストパフォーマンストークにてチームの面々は手応えを見せた。

左から真鍋大度(Rhizomatiks Research 共同主宰)、MIKIKO(演出振付家、ELEVENPLAY主宰)、石橋素(Rhizomatiks Research 共同主宰)

「discrete figures」は、テクノロジーによるダンス表現の幅を拡張すること、特に数学との関係性の可視化に着目している。ディープニューラルネットワーク(多層な人工の神経細胞システム)や人工知能などの技術を加えることで、人間だけではなし得なかったダンス表現の可能性が評価され、第22回文化庁メディア芸術祭のアート部門では優秀賞を受賞している。

『数学する身体』(森田真生, 新潮社)

企画発案者の真鍋氏は、書籍『数学する身体』(森田真生, 2015)や18世紀の数学者、レオンハルト・オイラーによる「オイラーの手紙」として知られるレオポルド3世の娘への科学教育の書簡を読んでいたことをきっかけに、このプロジェクトを始動したという。現代を生きる私たちにとって数学と身体は全く関連のないものに感じるが、本来は物を数えたり、測量したり、計算したりと、数学は思考や伝達の道具として無くてはならないものである。

「いまや数学は複雑でブラックボックス化しているから、普段生活している中で数学を意識することはあまりありません。けれど本来は身体と密接に結びついているものが複雑化することでどんどん抽象化され、身体からはがれていくさまをダンス作品で表現したいと思いました」(真鍋)

ダンスをモーションキャプチャ技術で解析する機械学習には、メディアアーティストでありリサーチャーのカイル・マクドナルドも協力している。今回はKinectを使用してコンテンポラリーダンスの動きを写し取り、LSTM(Long Short Term Memory)という連続したデータを処理・生成できる自然言語処理ネットワークでダンススタイルの分類や生成を補助している。

振付家のMIKIKO氏は、真鍋氏による難しいテーマ設定を受けて、どうしたら言葉ではなくダンスでコンセプトを伝えることができるかを模索したそう。そして、はじめにスクリーンに点が映り、線が繋がり、そして図形になり、その後フィルム映像など新しい技術が次々に生まれて…といったように、全11のセッションで映像の進化の過程をたどる構成を考えついたと話す。

「最初の振り付けにはスローモーションを取り入れて、人間の原始的な営みのような動きをイメージしました。その後、ダンサーは写し鏡になった自分と対峙して踊った後、鏡の中の自分が映像から飛び出し、AR上の目に見えない相手と踊って、さらに展開する、というふうにシナリオを描いていきました」(MIKIKO)

「終盤に現れるドローンも、ダンサーの動きをレコーディングして一緒に動きながら共演しているので、これもある種の映像技術の最先端と言えるかもしれません」(MIKIKO)

ある序盤のセッションでは効果的にコマ写真(連続する静止画)の映像が使用されていたのが印象的だった。三次元空間である舞台上のフレームの枠内に平面の画像データが現れ、ダンサーたちもショットに合わせてポーズをとるかのように静止する動作を繰り返す。この演出は、トーマス・エジソンのキネトスコープのように、映像の歴史における二次元的な世界を表象していたのではないかと思う。

身体動作がデータに変換され、仮想空間へと誘われる

開演してまもなく、迫力のある獰猛なサウンドが観客たちの注目を惹きつけ、会場は一気に別世界へとワープする。照明は5人のダンサーのシルエットを影絵のように写しとり、一糸乱れぬ身体の動きに焦点を当てて楽しめる。

出演ダンサーらが所属する「ELEVENPLAY」は、MIKIKO氏が率いる女性だけで構成されたダンスカンパニーで、Sónar FestivalやMUTEKなどでライゾマティクスと数多くのコラボレーションを成功させてきた。軸のブレない体幹により複雑で繊細な動きもお手のもので、全11のセッションでそれぞれ異なる雰囲気を魅せてくれる。「discrete figures」において、彼女たちのダンスを堪能できるだけでも、身体と運動の解釈にはまだまだ未知の部分があると感じられる。

サウンドは次第にエクスペリメンタルに変化していき、幾重にもかさなる音の粒たちが、心地よい高揚感を与えてくれた。そして、それまではシンプルだった光の演出も際立ってくる。激しいストロボとともに、サッシのような人ひとりを覆うくらいのサイズのフレームに、ダンサーの振りに追随して映像が投影されていく。振り付けのディテールに合わせて、非常に細やかに移り変わる光に驚かされる。

この作品の中核を担う技術こそ、全編を通して舞台上の各所において作動しているモーションキャプチャである。ダンサーの手首・足首をはじめ、ドローンやフレームなどのモノにもトラッキング可能な特殊なマーカーを取り付け、リアルタイムにその場所と動きを捉えて解析し、映像やARを生成している。縦横無尽な動きに映像が遅延しないよう、動きを予測する機能も搭載されているそうだ。

フレームには赤外線LEDが内蔵されており、モーションキャプチャシステムでその動きを追える独自のシステムを採用しているため、フレームごと動かしても、その場所を特定して映像を投影することが可能だ。ダンサーが上に立つ台座も、この技術を応用してリモートでコントロールできるようになっている。これらの技術面は、ライゾマティクスを真鍋氏と共同主宰する石橋素氏がテクニカルディレクターとして、フレームや後に登場するドローンなどのハードウェアの開発を担いながら統括している。

モーションキャプチャを使用し、リアルタイムで演出をコントロールするためには、どこに何があるのか丁寧にセンシングすることが重要だという。

「モノの位置を完全に固定してしまえばシンプルですが、より自由で柔軟な演出を直前まで可能にするために、映像も、映像を投影する場所も可変なシステムを構築しました」(石橋)

「2007〜8年ごろから、機械学習技術を使ってAIが振り付けをつくることが可能になりました。今回は舞台の天井にカメラが36台付いていて、各地点やダンサーの身体につけられたモーショントラッキングマーカーを追いかけてAIが画を生成しています。また、さらに技術が進歩したことで、ポーズ解析技術を用いて、パブリックドメイン化した過去の古い舞台や映画の映像からポーズデータを抽出し、本公演の振り付けと収集したデータを照らし合わせてもっとも一致するポーズを出すことも可能になりました」(真鍋)

公演中盤からは舞台上にドローンとカメラが投入される。何らかの舞台芸術においてカメラマンが舞台上に現れたとき、我々は意識的に「無いもの」としてカメラの存在を視界に入れないようにする。しかし、今回のカメラマンの役割は、ただの撮影者/裏方ではない。カメラマンが撮影する映像がリアルタイムで舞台奥のスクリーンに投影され、リアルタイムでARと融合していくのだ。

そのはじめての視覚体験に、“いま・ここ”にあるものは何なのか混乱したのをよく覚えている。現在、スマートフォンアプリを使用してARを手軽に体験できるサービスが増えてきたが、このようにシアター形式の舞台芸術作品に突如現れると、高次元のレイヤー構造を一目で俯瞰することができる。はじめは現実空間とスクリーン上に現れる仮想空間は区別されたものと認識できるかもしれないが、パフォーマンスを経て2つの世界はだんだんと交わり、呼応し合う。

次元を越えて交わるダンス表現

はじめは定点から舞台全体を満遍なく映すようなアングルのカメラが、主体性を持った“ある視線”へと滑らかに移行すると、ARは「バーチャルダンサー」として、現実空間のダンサーの模倣から孤立し、ダイナミックにパフォーマーとセッションし始める。観客がARを見ることができるのは平面のスクリーン上だが、ダンサーが現実空間でパフォーマンスしていることが新たなリアリティをもたらし、バーチャルダンサーも三次元空間に立ち現れているように認識させられる。

ELEVENPLAYのダンサーたちは、ときには主演パフォーマー、ときには舞台の構成要素の一部ともなり、現実空間における人間の身体と光と音、そして仮想空間がすべて並列した表現者として扱われている印象を受けた。5人のシンクロダンスは、まだ動きにぎこちなさが残るARの仮想ダンサーと比べても整然としており機械的で、非生命である映像の不安定さの方がまるで生命を宿しているようにも感じてしまう。ダンサーとともに動き、あるいはダンサーの身体を拡張したり対峙したり、時にリードするようなARの存在は、人間とテクノロジーの支配関係を狂わせ、一体どちらがスポットライトの被対象物なのかわからなくなるほどだった。

ドローンは小さなものが5台、舞台上を飛びまわり、火の玉が浮いているように幻想的だった。これらのドローンの位置もモーションキャプチャでトラッキングされ、リアルタイムで制御されている。また、ドローンはダンサーたちの振り付けのモーションキャプチャデータを事前に解析して動いている。

また、観客もダンサーとして登場する仕掛けが。2018〜19年の東京公演(スパイラルホール)と札幌公演(札幌文化芸術劇場 hitaru, PLAZA FESTIVAL 2019)にて、来場者をロビーで1名ずつ撮影し、その動きを解析。pix2pixHDという線画や抽象的なイラストを高解像度の画像に変換できる技術により、事前に収集した過去のモーションデータと組み合わせて、仮想ダンサーの登場前の大きな転換となる抽象的な要素の導入シーンにて、観客の身体動作を変換した映像がスクリーンに投影された。

現代の数学と身体の関係性を「descrete figures」に見るならば、これらのテクノロジーの過程から考えても情報が具体化されているような印象を受けるが、データやARといった記号に変換されると、むしろ抽象的なイメージになっていく面白さを実感することができた。その曖昧さに対して、ダンスが媒介となって私たち人間にとっての共通言語が形成されていくことが大変興味深い。
真鍋氏は、これまで多くの公演数を重ねてきた「descrete figures」だが、これまで一度たりとも同じ公演はなく、毎回何らかのアップデートを欠かさないと語る。飽くなき探究心とそれを実現させるテックチーム。映像技術の歴史が更新されていくとともに、進化していく身体とダンス表現というメディアの今後にも期待したい。

 

CREDIT

116353669 1625394297639169 7769774595314042629 n
TEXT BY NANAMI SUDO
栃木県出身、1998年生まれ。2020年早稲田大学文化構想学部卒業後、フリーランス編集者に。主にWEBサイトやアプリケーションのコンテンツ制作・配信に携わっている。 現在、SmartNewsやTarzan Web等で幅広く活動中。
24273239 1678064325592885 1634325354 n
PHOTO BY YOSHIKAZU INOUE
1976年生まれ。1997年頃から関西のアーティストやバンドのライブ写真を撮り始める。 その後ライブ撮影を続けながら雑誌、メディア、広告媒体にも活動を広げ2010年から劇団維新派のオフィシャルカメラマンとなりそれ以降、数々の舞台撮影を行う。2015年に株式会社井上写真事務所を設立し活動の幅を広げながら継続してライブ、舞台に拘った撮影を続けている。 http://www.photoinoue.com/

page top

ABOUT

「Bound Baw」は大阪芸術大学アートサイエンス学科がサポートするWebマガジンです。
世界中のアートサイエンスの情報をアーカイブしながら、アーティストや研究者の語るビジョンを伝え、未来の想像力を拡張していくことをテーマに2016年7月から運営を開始しました。ここから、未来を拡張していくための様々な問いや可能性を発掘していきます。
Bound Baw 編集部

VISION

「アートサイエンス」という学びの場。
それは、環境・社会ともに変動する時代において「未来」をかたちづくる、新たな思考の箱船です。アートとサイエンスで思考すること、テクノロジーのもたらす希望と課題、まだ名前のない新たなクリエーションの可能性をひも解くこと、次世代のクリエイターに向けて冒険的でクリエイティブな学びの旅へと誘います。

TOPICS

世界各国のアートサイエンスにまわる情報をを伝える「WORLD TOPICS」は、国内外の展覧会やフェスティバルのレポート、研究機関や都市プロジェクトなどを紹介します。「INTERVIEW」では、アーティストや科学者をはじめ、さまざまなジャンルのクリエイターへのインタビューや異分野の交わる対談を掲載。「LAB」では、大阪芸術大学アートサイエンス学科の取り組みを紹介しています。

STAFF

Editor in Chief
塚田有那
Editorial Manager
八木あゆみ
制作サポート
communication design center
Flowplateaux
STEKWIRED
armsnox
MountPosition Inc.

Copyright 2016 Osaka University of Arts.All Rights Reserved.

close

bound baw