奈良先端科学技術大学院大学×千葉大学×IMAGICA GROUP
視覚×コミュニケーション×AI

最先端の研究分野で化学反応を起こし、
まだ誰も見たことのない映像表現を追求

2018年、奈良先端科学技術大学院大学（以下、NAIST）の向川康博教授率いる光メディアインタフェース研究室と、中村哲教授率いる知能コミュニケーション研究室、千葉大学大学院の久保尋之准教授率いる久保研究室、そしてIMAGICA GROUPのオー・エル・エム・デジタル（以下、OLMデジタル）が共同研究チームをスタート。

わずか半年で、世界初の「AIを使ったアニメキャラクターの自動彩色技術」を共同開発し、国内だけではなくフランスのニュースサイトにも掲載されて話題を呼んだ。現在では、アニメ制作現場での実用化を目指している。

その一方で、「3D姿勢推定」の研究も開始。「3D姿勢推定」はカメラ映像から、AIなどを使い、疑似3次元でキャラクターの動きを推定する従来の手法だが、「光」研究に強い向川研究室からノウハウを得て、ステージなどでの特殊照明下でも姿勢推定ができる技術を組み合わせることで、ライブエンタテインメント分野での新しい映像演出の可能性を探っている。高い技術力で注目を集めながら、次々と新しいテーマに切り込む彼らが、産学連携で行う〈新たな映像表現の可能性〉について語ってくれた。

奈良先端科学技術大学院大学の向川研究室にて。中央右が、向川康博教授。中央左が、品川政太朗助教。右端より2番目が、舩冨卓哉准教授（以上、NAIST）。左端より2番目が、久保尋之准教授（千葉大学大学院工学研究院）。左端が、IMAGICA GROUP（オー・エル・エム・デジタル）のシニアリサーチャーの前島謙宣、右端が同社 リサーチディレクターの四倉達夫。

#1
密なコミュニケーションが
チームワークを
最大限に発揮させる

––研究成果が出るのが早いですね。どのような研究の進め方なのですか？

久保（千葉大学）：
各テーマに学生が一人ずつ取り組んでいます。教員は学生の担当について、直接的な指導をしていく形です。

前島（IMAGICA GROUP）：
研究をどう料理するかは、私たちからは特にお願いせず、学生と先生たちにお任せしています。

四倉（IMAGICA GROUP）：
このチームは専門分野の違う先生方が集まっているので、普通の研究形態とは違って、多面的に研究を究められる理想的な環境なんです。そこが早さの秘密ですね。今の学生さんにとっては、すごく魅力的なんじゃないかな。手前味噌になっちゃうけど（笑）。

向川（NAIST）：
学生も、教える私たちも、負けず劣らず個性豊かです。実は自動彩色の共同研究を始めて一番恩恵を受けているのは、フランスからの留学生が増えたこと！　アニメの研究をしていることが話題になり、フランスからわざわざ日本のNAISTを選んで来てくれるんです。おのずとモチベーションも高く、優秀な学生が多く集まってくれています。この共同研究をしていなければあり得なかったと思いますよ（笑）。

久保（千葉大学）：
大学と企業の共同研究は、研究の早さ以外でも学生さんに良い影響があると思います。私も学生の頃、働いている先輩方の姿を直接見て「プロとして働くって、こういうことか」と実感しました。ただ研究するだけではなく、その研究の着地点まできちんと見据えられる。企業側（IMAGICA GROUP）の前島さんや四倉さんも、一研究者として参画してくださり、研究の難しさを理解した上で、時には研究を進めやすいように引っ張ってもくれる。とても心強い存在です。

品川（NAIST）：
共同研究は、言ってみればインターンに近い感じですよね。私は学生の間に企業へインターンに行けなかったという心残りがあったんですけど、よくよく考えたらこの共同研究はほぼインターンだった。とてもフレンドリーで密なコミュニケーションが取られていて、アドバイスをいただけるし、勉強もさせてもらえる。「お互いにアイディアをぶつけながら良いものを作ろう」と切磋琢磨する、とても前向きな雰囲気です。

久保（千葉大学）：
こういうふうに上手くいっている理由の一つが、月1で行う全体のオフィシャルなミーティングとは別に、毎週金曜日の朝イチに若手で集まって、最近あったことを1時間ぐらい話す場です。「来週はどうしようか」とか、1週間単位で情報交換をしているので、かなり小回りが利く進め方ができていると思います。これ、普通やらないですよね？

前島（IMAGICA GROUP）：
私が大学にいた頃はなかったです。この週１の集まりは、准教授と助教の3人の先生方の時間を1時間ずつ借りています。何かちょっと疑問が出たら「これはどうしましょう」「こんなアイディアどうでしょう」ってフランクに質問できるのは、相当贅沢な機会かなと、私たち研究チームは思っていますね。

四倉（IMAGICA GROUP）：
贅沢すぎる環境な上に風通しも良いので、毎回ちっちゃな研究会みたいな感じで盛り上がっています。

前島（IMAGICA GROUP）：
ミーティングはラフな雰囲気で、進捗していないときははっきりと「進捗していない」と言っても構わないんです。もちろん相談もOK。久保先生が言われていたように、やっぱり密なコミュニケーションが重要ですね。

舩冨（NAIST）：
研究を立ち上げた当初は方向性に迷って、かなり手探りの状態のときもありました。月１のミーティングだけでは全然足りないので、週１で、「今こんな感じでやってみたんですけど、どうですかね？」と軽いフットワークで相談させてもらえるのはとてもありがたいです。軌道修正しやすいので、成果に結び付きやすいんじゃないかと思っています。

向川教授（中央）と舩冨准教授（右）の光メディアインタフェース研究室では、カメラで撮影したシーンを機械に理解させるコンピュータビジョンやCGを、品川助教（左）の所属する中村研究室（知能コミュニケーション研究室）では音声同時翻訳など、人と人、人と機械のコミュニケーションを支援する研究を行っている。

久保准教授の千葉大学大学院工学研究院久保研究室では、CGやコンピュータビジョンを土台とし、映像表現や医用画像など幅広い分野で研究を進めている。

#2
研究を前に進める
秘訣とは？

––「自動彩色技術」は、もう実際に現場で使われているのですか？

前島（IMAGICA GROUP）：
はい、テストまでいっています。現場で使って出た課題を潰しているところです。現場では「いいね」と言ってくれる人と、「手作業でやった方が速いんじゃない？」という意見がありますが……。メインキャラクターについては、大量データを使って学習させたAIで、手作業と比べて8割くらい色が塗れる状態になっています。少ない枚数の画像で学習させたAIは、そこそこは塗れるという状態です。

四倉（IMAGICA GROUP）：
つまり、基礎レベルはある程度充実したものにできあがったので、充分人間の手助けになると思います。次の段階として、それを現場にどうやって落とし込んでいくか、良い意味で課題のフェーズが上がりました。

––アニメ制作の現場で使いやすいように改良を加えている段階なんですね？

全員：そうですね。そういう感じです。

向川（NAIST）：現場の方々に試してもらって、さらに意見をもらえる、これは共同研究ならではの特権ですね。大学だけでは絶対にできない。

––アニメ制作の現場で使いやすいように改良を加えている段階なんですね？

前島（IMAGICA GROUP）：OLMデジタルではいくつか課題がありましたが、その中からNAISTが選び取ったのが自動彩色技術、彩色支援システムでした。学生さんが修士論文のテーマとして研究したのが最初です。それをどう料理していくか――つまり、研究をどう捉えて、テーマをどう設定して、どう解いていくかは、学生さんと久保先生、舩冨先生、向川先生で話し合っていただきました。AIを使うという前提があったので、AI用の学習データはこちら（IMAGICA GROUP）で集めました。

舩冨（NAIST）：アニメについては素人だったので、はじめにアニメ制作現場を見学させていただきました。私たちはAIの研究をしている中で、「AIが人の仕事を奪う」のではなく「AIと人が共存して生きる」ことを前提としています。その上で、やっぱり「AIがクリエイターの職業を奪ってしまう」ことは受け入れられないだろうと……。そこで、様々なディスカッションを重ね、制作工程の中でもどちらかといえば“作業”に近い仕事を自動化しよう、となりました。自動彩色技術なら、AI技術とクリエイターが共存できるテーマになるんじゃないかと。

前島（IMAGICA GROUP）：AIが作業して浮いた時間で、人はもっとクリエイティブな作業に没頭できるようになります。そうしたらもっと良い作品を生み出せるだろうと考えました。

四倉（IMAGICA GROUP）：そういう流れで研究を開始したわけですが、半年くらいで徐々に成果が出始め、しっかりとそれが蓄積されてきて、現在に至っていますね。今は着陸態勢に入っています。

––「3D姿勢推定」を研究するいきさつはどうだったんですか？

四倉（IMAGICA GROUP）：私たち（IMAGICA GROUP）が、新しい研究テーマとして最先端透過スクリーンを用いた映像演出方法についての相談に行ったのが始まりです。

舩冨（NAIST）：透過スクリーンは、大型のホールや舞台でのホログラム映像などの演出で活用されています。

四倉（IMAGICA GROUP）：「スクリーンの向こう側の中にいる、見えない演者さんの姿勢を推定したいんです」と伝えたら、即座に「ああ、これって向川研究室で昔からやってる研究だよね」と、他の人から言われて研究テーマがマッチしたんですよ。

透過スクリーンをエンタメ分野で活用した際の実証実験の模様　
詳細▶IMAGICA EEX、縦型映像と透過スクリーンを活用した立体空間演出型ライブビューイングの、日本初の実証実験を実施　

舩冨（NAIST）：NAISTはこの技術を基礎から研究していたので、それを使って「新しいことをしたい」と依頼が来れば、すぐに対応ができたわけです。

向川（NAIST）：コンピュータがカメラ情報を使ってシーンを認識するという単純な問題はわりと解きやすいのですが、外乱光などが入ってくると急に難しくなる。今回はライブエンタメを対象としているので、カメラと演者の間に視覚効果を出すためのスクリーンが挟まっていて、しかも照明もあって……非常に特殊な状況。私は車の自動運転技術を用いて解決を試みました。透過スクリーンを濃い霧と同じだと考えて、「霧の中の演者をカメラで捉えるにはどうするか？」ですね。

––車の自動運転とライブエンタメの透過スクリーンでは、まったく別々の研究に思えますが……

向川（NAIST）：透過スクリーンは光を散乱させる。だから、自動運転技術の「いかに濃い霧があっても道路標識が綺麗に見えるか」と置き換えて考えるんです。車の自動運転技術は目を見張る勢いで進んでいるから、絡めて考えるとたやすいんですよ。

久保（千葉大学）：みんな自分の得意分野に置き換えて考えているんです。ちなみに、向川先生は霧の影響を除去した映像を作る研究をされていますが、私は逆に霧のようなCG――光の散乱を真似できるCGを研究しています。

舩冨（NAIST）：私のは、見えないものを測るために霧を使う研究です。霧があると、光の道筋が見えるようになりますよね。車のヘッドライトとか。普通は見えないものが、霧があることで見えるようになる現象を使って、測りにくいものを測る。それぞれの技術の使い方は全然違うんですけど、“霧”という研究対象は共通していたんですね。

––そして、人間の骨格まで推定する「3D姿勢推定」の方は……？

向川（NAIST）：姿勢推定の方は、我々（NAIST）の研究室でかなりのテクノロジーがそろっているので、「この辺りが使えるんじゃないか」と、ピピピッと推測できた。

透過スクリーンの研究室内の様子。後ろに設置されているのが透過スクリーンの効果を検証するための透過スクリーン。ここにプロジェクターを使って映像を投影した上で、向こう側にいる演者の姿勢推定をカメラを使って行い、さらに演者の動きに合わせて照明と映像を変化させる。

#3
研究ののびしろを見つけ、
新しい道を拓く

––今後は、どのように研究を進めていく予定ですか？

四倉（IMAGICA GROUP）：
自動彩色は、AIだけじゃなくて他の様々なアプローチを試したい。前島が中心としてやっていた、少数の学習サンプルで色を塗れないか……とか。ディスカッションを重ねて、新しい手法を見つけたいな。

久保（千葉大学）：
人と機械が協業するやり方ができれば面白いですよね。これまではフルオートで色を塗る自動彩色技術を開発しようとしていたけれど、“人間がやった方が速い”シーンと、明らかに“機械がやった方が速い”シーンがある。だから、人間だけでやるとか、機械だけで、というのでは充分ではなく、人間と機械が一緒にやるという。

品川（NAIST）：
私は最終的に実現したい夢があって。人がツールを使うことでツールが賢くなって、人に最適化するシステムを作りたいという想いがあります。人がツールに合わせるんじゃなくて、人にもっと役に立つものになれば嬉しいです。
もう一つ、共同研究の醍醐味は、できあがった技術を見たプロデューサーやクリエイティブな人が、どう反応してくれるか。「この技術を使って新しいことがしたい」と意見をもらったら、「こういう技術があります」って提案して……。現場の人とキャッチボールをしたら、どんな化学反応が起きるのか？　そう考えるだけですごく楽しい。

前島（IMAGICA GROUP）：
弊社の技術として使うのはもちろんですし、研究成果によって、新しいエンタメも生まれてほしい。

久保（千葉大学）：
私もこの連携で、さらに素晴らしい映像作品が生まれてほしい。私たちの研究から生まれた技術が使われて、より良い作品がたくさん世に出てくるのが望みですね。

向川（NAIST）：
まずはやっぱり自動彩色。長い期間研究したので、「実際に使われました」っていう明確な事例を出したいな。アニメのスタッフロールに我々の名前が載るとか。
残念なことに、NAISTは国立大学なんですが「大学院大学」という特殊な立場上、実は知名度が高くないんですよ。でも、「ただ研究していればいいじゃないか」ではなくて、もっと知名度を上げて、どんどん個性的で優秀な学生に入ってきてもらいたい。そのためにも、自動彩色技術はしっかりと着陸を決めたいですね。

#4
広いアンテナこそが研究のツール

––どんな人に来てもらって、研究を共にしたいですか？

向川（NAIST）：
研究の基本は、やっぱり楽しめるかどうか。いくら数学の素養があって、プログラミングができても、本人が楽しめなければ研究が進まないので……。我々も、「君はこれやりなさい」と押し付けることは決してなく、学生の自主性を尊重しています。

舩冨（NAIST）：
私は料理が好きで、前職ではICT技術を使って調理を支援する研究をしていたぐらい。好きだからこそ、趣味と技術開発を兼ねて、ユーザー目線で考えられるんです。

久保（千葉大学）：
学生さんは、様々なところにアンテナを持ってほしいです。私自身はお医者さんではないけれど、研究成果を医療技術に応用できると気づいたとき、「医療で人を助けることができるな」と思った。

品川（NAIST）：
一番大事なのは、やる気。恐れずにチャレンジしてほしい。自動彩色技術に限らず、最近は様々な場所でAI技術が使われているので最低限の数学は必要だけど、プログラミング技術などは青天井。実際に研究を始めてからでも、こういう先生方にたくさん鍛えていただけますよ。

舩冨（NAIST）：
付け加えるなら、学生さん側はこまめに相談できる性格の人だと得ですね。どういう状態にいるのかを教えてくれたら、こちらもアドバイスをしたり助けてあげることができる。コロナ禍になり、コミュニケーションが難しくなった世の中ですが、一人で抱え込まないでほしいと思います。

向川（NAIST）：
大学の使命は、やっぱり基礎研究なんです。でも、「出口のない基礎研究」はあまり意味がないんですよ。世の中には「確かにすごいんだけど、これは何に使うの？」という研究がいっぱいある。我々はそうではなく、出口を見据えた基礎研究をするんです。企業の方から「こういうことをやりたいんだけど、できますか？」という話が来たときこそ、我々の基礎研究が役立つと思っています。透過スクリーンの演出も、我々の持つ技術のどれが使えるかなって、何ができるんだろうなと、わくわくしています。
ぜひ、私たちと一緒に研究をして、この大学を有名にして、さらに新しい学生たちを迎えて……そんな良い循環を作りましょう！

■研究室のご紹介

NAIST　光メディアインタフェース研究室（向川教授・舩冨准教授）
カメラで撮影したシーンを機械に理解させるコンピュータビジョンやCGなどの研究に取り組んでいます。
WEBサイト　https://isw3.naist.jp/Research/mi-omi-ja.html

NAIST　知能コミュニケーション研究室（品川助教所属）

音声同時翻訳など、人と人、人と機械のコミュニケーションを支援する研究を行っています。
WEBサイト　https://isw3.naist.jp/Research/mi-ahc-ja.html

千葉大学大学院工学研究院 久保研究室（久保准教授）

CGやコンピュータビジョンを土台とし、映像表現や医用画像など幅広い分野で研究を進めています。
WEBサイト　 https://qlab2022.github.io/index-jp.html

※このインタビューは2022年9月に行いました。

（ライター後記）
今回、最先端透過スクリーンの話を聞いて「観光ビジョン」を思い出した。これはご存知『ドラえもん』のひみつ道具の一つで、緯度と経度を入力すると、地球上の景色を映し出してくれるもの。他にも似た役割を果たす道具がたくさん登場している。例えば「時空間とりかえ機」「空間入れかえ機」など……。作者の藤子・F・不二雄は、家の中で漫画を描きながら、まだ見ぬ世界へと想いを馳せていたのだろう。〈現在〉から〈未来〉へと続く〈ロマン〉と、時代の変換期における不可逆な〈必然〉を携えて、大きく羽ばたける場所がここにはある。

IMAGICA GROUPに2017年に設立された、
テクノロジーとクリエイティブの両方を備える研究機関ARG（Advanced Research Group）。
グループの各社から集結した研究開発職の精鋭たちによって、
テクノロジー基盤向上のための研究開発、先端技術のリサーチ、
大学や企業との共同研究などが進められている。

高い専門性を持つ人たちと連携し、一緒に考えながら研究に取り組める人、
映像技術に興味がある人、好奇心旺盛な人など、未来を一緒に作り出すメンバーを待っています。

メンバーとしての参画希望の方

映像表現の最先端で一緒に働きませんか？
ARGおよびグループ会社では採用活動を行っています。