顔表示に特化した
ライトフィールドディスプレイの研究

東京農工大学と
IMAGICA GROUPによる、
共同研究と目指す未来

IMAGICA GROUP Advanced Research Group (以下ARG)では、
立体表示の研究を行う東京農工大学の高木研究室と共同で、
顔表示に特化したライトフィールドディスプレイの研究開発を行い、特許を出願した。

映像と人との融合を掲げ、リアルな立体表示の手段を開発し、さまざまな分野での応用を目指す。
民間企業と大学の産学連携だからこそのメリットや今後の展開などについて、
高木康博教授、高木研究室の皆さまと、IMAGICA GROUPのARGメンバーが語った。

東京農工大学の小金井キャンパスにて。〈中央〉東京農工大学大学院工学研究院先端電気電子部門 高木康博教授。教授の、向かって右側に立つのは、高木研究室で研究をしている院生の清水美里さんと深野弘一郎さん。写真左から、2番目が、 高木研究室の出身でIMAGICA GROUPの株式会社フォトロン 技術開発本部副本部長の工藤隆朗。その隣、左端が同技術開発本部クラウドソリューション部の由良俊樹。

#1
IMAGICA GROUPが東京農工大学とコラボし
新たな映像コミュニケーションの手段を研究

––まずIMAGICA GROUPと東京農工大学とで共同研究に至った経緯を教えてください。

IMAGICA GROUP工藤隆朗（以下、工藤）：
IMAGICA GROUPのなかで、国内外の研究機関とコラボレーションし、今までにないものを作っていこうという話が出ました。そのときに真っ先に思い浮かんだのが、立体表示の研究を行っている高木先生の研究室でした。私は高木先生の研究室の出身なので、直接先生にお会いし、共同で何か一緒に研究をしませんか、というお話をしたことがきっかけです。

東京農工大学 高木康博教授（以下、高木）：
私の研究室では、ホログラフィーやライトフィールドディスプレイ、超多眼表示などの立体表示の研究を行ってきました。工藤くんはこの研究室の２期卒業生です。当時は研究室の立ち上げの時期で、彼は64台のPCクラスタを構築して立体映像を制御する研究をしていました。今回お話をいただいて、3Dを使って何かできないか、考えるところからスタートしました。

––共同研究のテーマは「ライトフィールドディスプレイの開発とフェイシャルキャプチャ&リアルタイムアニメーションの研究」です。内容や特徴を教えてください。

高木：
開発したライトフィールドディスプレイは、3D専用メガネを使わずに立体映像を見ることができるディスプレイです。立体表示のひとつである「ホログラフィー」は物体からの光を“波”として扱いますが、「ライトフィールドディスプレイ」は光を“光線”として扱い、光線の進行方向を制御できます。人が見る位置に応じて光線を再現できるため、実物がそこにあるような見え方になるのです。ほかの３Dディスプレイと比較し、ライトフィールドディスプレイは近い将来、実用化が可能である点で優れています。

研究室内の様子。手前のディスプレイに映るCGは、奥に座った深野さんが専用のスマホ画面に向かって話しかけた際の動きを再現する。顔を振ったり口を開けたり、さまざまな表情を見せる。

高木：
また、研究の過程で、人の顔を実写で表示してみたところ、あまりのリアルさに驚いたんです。立体表示にはさまざまな用途が考えられますが、「顔を表示するのが一番いいな」と気づきました。現在は「顔表示」に特化したライトフィールドディスプレイの研究をし、すでにIMAGICA GROUPさんと共同で特許を出願しています。

工藤：
共同研究が始まって4年経ちます。高木研究室とは月1回の定例会を実施し、臨機応変に進めています。そのなかで、ライトフィールドディスプレイが人の顔の表示に適していることがわかり、方向性が定まりました。どこにいても人を感じられるディスプレイの開発を最終目標にしています。

高木：
IMAGICA GROUPさんは、大学側がやりやすいよう考えてくださいます。気持ちよく研究ができています。共同研究の役割では、私たちは、得意とするハードウェアの開発を中心に行なっています。

工藤：
一方IMAGICA GROUPは、ソフトウェアの開発とライトフィールドディスプレイの応用先の開拓を進めています。それぞれ得意な分野を担いながら、役割を明確に区切るのではなく柔軟に対応しています。

高木：
うまく役割分担ができていますね。現在、ライトフィールドディスプレイは、学会や展示会でデモ展示を行い、好評を得ています。２台のライトフィールドディスプレイを用いたコミュニケーションシステムを構築し、どのような効果があるかを調べています。

#2
高木研究室が目指しているのは
ディスプレイと人との距離を近づけること

––高木研究室では、普段どのような研究をされ、どのようなビジョンのもと続けていらっしゃいますか？

高木：
私たちはこれまで、ライトフィールドディスプレイをはじめ、ホログラフィーや超多眼表示などの立体表示の研究を行ってきました。メタバースやSociety5.0において、この立体表示は需要性が増すと考えられ、力を入れています。
研究室のビジョンは、ディスプレイと人との距離を近づけること。物理的に距離を近づけるだけでなく、用途としても人に近づけていくことです。これはつまり、人の内面にまで関わっていきたいという意味で、ディスプレイを通してコミュニケーションをとり、気持ちや感情を伝えられる立体表示を目指しています。例えば、顔表示から気持ちのフィルタリングができると、機能としても面白いですね。

研究室の清水さんは、顔をカメラに映して表情を撮影している。目や口の形や傾きを見分けているという。

高木：
ディスプレイは、据え置き型やヘッドマウントディスプレイ、コンタクトレンズディスプレイなどさまざまあります。据え置き型のライトフィールドディスプレイは、今後メタバースが普及したときに、ヘッドマウントディスプレイとは異なり、誰でも使える仕様となります。メタバースと実世界を結ぶ“窓”のような役割ができるといいなと思っています。

––深野さんや清水さんはどのような研究をされてきたのでしょうか？

高木：
深野くんは研究室に入ったとき「映像で人を幸せにしたい」と言っていました。共同研究の顔表示に特化したライトフィールドディスプレイの開発は、まさに彼にぴったりのテーマですね。

研究室 深野さん（以下、深野）：
はい。現在は、顔表示のディスプレイを使って、気持ちや感情をどう科学的に証明するか研究しています。修了後はドクターコースに進み、研究を続けていきます。

高木：
清水さんはディスプレイの解像度を上げる研究をしていました。

研究室 清水さん（以下、清水）：
私は、計算によるアプローチでディスプレイの解像度を上げる研究をしてきました。何カ月も計算して、解像度を上げることに成功し、高解像度化の原理や方式について学会で発表を行いました。

#3
エンタメシーンだけではなく
医療や教育の現場などで幅広く活用したい

––共同研究のライトフィールドディスプレイは特許の出願を行いました。この技術の活用先や応用先としてイメージされていることを教えてください。

高木：
顔表示のライトフィールドディスプレイは、人と人とのコミュニケーションの新しい形を提供します。また「AIとのコミュニケーション」という側面もあります。AIは何を考えているかわからず何となく怖い印象を持たれがちですが、ライトフィールドディスプレイが普及すれば、AIと人間のインターフェイスとして利用できるのではないでしょうか。

工藤：
私たちが今考えているのは、医療や教育の現場での活用です。IMAGICA GROUPは、エンターテインメントだけではなく、医療や教育のソリューションも持っています。このつながりを活かし、幅広い分野からの意見をもらっています。

IMAGICA GROUP由良俊樹（以下、由良）：
グループ各社にライトフィールドディスプレイを見せ、面白い活用の仕方を探っているところです。IMAGICA GROUPは、さまざまな企業があり、フィードバックを幅広く得られる環境です。その利点を活かしながら、活用先の可能性を見つけています。

工藤：
先日ブースを出展した展示会では、エンタメ系の企業から、映像の“演出”として今すぐにでも使いたいという意見をいただきました。ライトフィールドディスプレイでは、これまで実現できなかった、飛び出す感覚を実際に目で見ることが可能です。“推し”に会っているかのような感覚をイメージされる企業もありましたね。ちょうど清水さんが作った高解像度のディスプレイによって、実用に耐えうる画質になりました。

高木：
立体表示は、実際に試してみることで見えてくるものがたくさんあります。人の顔の表示に適していることを知ったのと同様に、最近になり、「手」の表現も、リアルさを感じられる大きな要素であることがわかりました。

ディスプレイに映し出された深野さん。手を振ったり前に突き出したりする動きによって、躍動感が増す。近くにいるような、すぐ手が届きそうな感覚になる。

高木：
手の動きが加わるだけで、グッとリアルさが増すことがわかりました。例えば、病院や高齢者施設で、インターフォン越しに「どうされましたか？」と会話をすることがありますよね。ディスプレイ越しに表情や手の動きを使いながらコミュニケーションをとり合うことで、患者さんや利用者さんの気持ちを知れる機会につながるかもしれません。エンタメ以外にも、さまざまなシーンで人と人とのコミュニケーションに役立つと感じています。

清水：
顔表示と同様に手の動きを表現できるようになれば、推しとの握手会やハイタッチなども楽しめます。ディスプレイがあれば、全国どこでも握手会を開催できる。そこに夢を感じています。

深野：
手の動きについては、各所で想像以上に興味を示していただきます。発表する機会をさらに増やし、いろいろな方のリアクションを見てみたいです。

高木：
手の表現を皆さんに見せると、「やばい！」「ここにいますね！」という反応がほとんど（笑）。世の中に出すためには、評価を数値化していく必要があり、どのように扱っていくかを考えています。

#4
民間企業と大学。
産学連携だからこそのメリットとは？

––産学連携の取り組みについて、どんな部分でメリットを感じていらっしゃいますか？

高木：
研究室はハードウェアが領域であって、ソフトウェアのGPUの整備などはできません。そういった部分を補いながらできるのは、民間企業との連携があるからです。また、IMAGICA GROUPさんは映像系の専門集団です。私たちが会えない専門家にも会える機会をいただき、率直な意見を聞くことができました。工藤さんがいろんな方を連れてきてくださり、感想や忌憚のない評価を受けられることは産学連携だからこそのメリットだと思います。

深野：
学内で研究をしていると、外の人に意見をもらう機会があまりありません。先日、IMAGICA GROUPさんが展示会のブース出展をされた際に私も立ち会い、さまざまな意見を聞くことができました。ありがたいことだと思います。

清水：
自分の研究が社会にどのように役に立つのか、具体的なイメージは学生のうちはなかなか湧かないものです。そんななか、工藤さんが連れてきてくださる方の意見を聞いたり学会に共同で参加したりして、普段会わない人の反応を見ることができました。学生のときから、世の中を見据えた勉強ができることはとてもありがたく感じています。

工藤：
企業が大学の研究機関と関われることは、未来への投資のアピールにつながり、非常に良いことです。個人的にも、学生時代から関わり続けている研究に恩返しができる機会だと感じています。先ほど、深野さんと清水さんが「外の人に見てもらえてよかった」とおっしゃっていましたが、私も学生時代に同じことを思っていました。

由良：
大学の研究室や学生の皆さんと共同研究をすることで、企業にはない発想が生まれます。大学と企業で異なる役割を持ちながら、同じ方向に進んでいけることは産学連携ならでは。高木先生が脈々と続けてきた研究に触れられることも素晴らしい機会だと感じています。
さらに、高木先生は3Dディスプレイの神様のような存在。お取引先であるメーカーの技術者の方とお話していても、「あの高木先生ですか！」と、よくご存知です。先生の確かな技術、長年の研究の実績と信頼により、製品への箔が付くのも当社としては大きなメリットです。

#5
高木教授と
IMAGICA GROUPが目指す未来

––今後の展望や目指す未来について教えてください。

高木：
映像で人を幸せにしていくこと。人を幸せな気持ちにしたり人の助けになったり、人の能力を拡張する技術について、これからも研究を重ねていきたいです。

工藤：
私が考えているのは、高木先生が描く未来の少し手前の部分です。ライトフィールドディスプレイをいろいろな人に体験してもらいたいです。先ほど、ディスプレイを見ながら手が出てきた際、「おお！」とどよめきましたよね。ああいった体験が、新型コロナウイルス感染拡大の影響でなかなかできていないんです。見て体験する機会をどんどん増やし、仲間を増やしていくこと。研究の先のアクションを増やしていきたいです。

由良：
グループ会社を含め、もっと幅広く見てもらい意見をいただきたいです。その先に、社会で広がっていったらいいなと思っています。

––最後に、これからどんな人や企業と研究をしていきたいですか？　率直に教えてください。

高木：
映像と人を結びつける技術に興味がある人、一緒に考えながら研究に取り組める人がいいですね。企業も同様で、一緒に考え、新しいことを目指していける取り組みが理想です。

工藤：
生活のなかでも研究に役立つアイデアを見つけ、興味を持ち、自分の考えを持てる人がいいですよね。

由良：
好奇心旺盛な人たちと、いろいろなアイデアを出し合っていきたいです。

大学院修了後は、深野さんは研究を続け、清水さんは企業でエンジニアとして就職が決まっている。

■東京農工大学　大学院 工学研究院　工学部 電気電子工学科　高木研究室のご紹介
光エレクトロニクスをベースにした新しい立体表示技術の研究開発と、医療、福祉、AR・VR、メタバースなどの分野への立体表示技術の応用に取り組んでいます。
WEBサイト　http://web.tuat.ac.jp/~e-takaki/

※このインタビューは2022年9月に行いました。

IMAGICA GROUPに2017年に設立された、
テクノロジーとクリエイティブの両方を備える研究機関ARG（Advanced Research Group）。
グループの各社から集結した研究開発職の精鋭たちによって、
テクノロジー基盤向上のための研究開発、先端技術のリサーチ、
大学や企業との共同研究などが進められている。

高い専門性を持つ人たちと連携し、一緒に考えながら研究に取り組める人、
映像技術に興味がある人、好奇心旺盛な人など、未来を一緒に作り出すメンバーを待っています。

メンバーとしての参画希望の方

映像表現の最先端で一緒に働きませんか？
ARGおよびグループ会社では採用活動を行っています。