Advanced Research Group
ご興味・ご関心ございましたら、こちらから
新着記事
ハイスピードカメラを使用した、フォトロンの新しい技術「ハイスピードボリュメトリックキャプチャ・HSVC※」。その開発には多くのメンバーがかかわり実用化までにいくつもの課題や完成までの苦労があったといいます。
※ハイスピードボリュメトリックキャプチャ・HSVCがどんなものなのかはこちらの記事で解説しておりますのでご覧ください。
エアバッグが展開する一瞬をハイスピードカメラカメラで捉え 3Dモデル動画化。フォトロンのハイスピードボリュメトリックキャプチャ
ここではその開発と、栃木に開設された「栃⽊テクニカルセンター」の設営に関わった開発メンバー3名に、完成までにどのような苦労や困難があったのか語ってもらいました。
ハイスピードボリュメトリックキャプチャ 開発メンバー
左:長濱 司 / 中央:安 弘毅 / 福永 泰大
Profile
福永 泰大(ふくなが・やすひろ)
株式会社フォトロン システムソリューション事業本部 マーケティング部
PdMチーム 担当課長
もともとは3DCADの開発を行っていたが、ハイスピードボリュメトリックキャプチャの研究開発プロジェクトに参加。現在は3D動画モデルのビューワー開発、モデルデータの加工解析やCAEとの連携のためのソフトウェア開発なども担当。
安 弘毅(やす・こうき)
株式会社フォトロン システムソリューション事業本部 技術営業部
アプリケーショングループ グループ長補佐
ハイスピードカメラのアプリケーション開発・提案・サポート等を担当。HSVCプロジェクトにおいてはシステムの運用・改善、撮影データから3D動画モデル化するためのデータ処理等を担当。
長濱 司(ながはま・つかさ)
株式会社フォトロン 技術開発本部 開発第一部
第2グループ エンジニア
ハイスピードカメラのハードウェア開発やサポートを担当。また、撮影に必要な照明や電源設備などの物理的な機材の製作、それに付随するソフトウェアの提供開発などを担当。
安 :もともとフォトロンのハイスピードカメラは自動車の衝突安全試験で使用されており、とある自動車メーカーさんから「(自動車産業に向けて)ハイスピードカメラを用いたユニークな映像コンテンツが作れないか」という打診を受け、グループ会社のP.I.C.S.と一緒に、360°の3D動画が撮影できる、ハイスピードフォトグラメトリー※を実現しようとしたのがきっかけです。
(※フォトグラメトリー…対象物をさまざまなアングルから撮影し、その画像データを解析して立体的な3DCGモデルを生成する技術。これをハイスピードカメラで撮影した)
その取り組みの中でフォトロンの技術を用いたボリュメトリックキャプチャの可能性というものがわかり、この技術をなにか実用的な産業の役に立つもの、例えば開発の際にハイスピードカメラ撮影を行っているエアバッグの展開試験に使えるのではないかとなりました。
そこから研究がはじまり五反田にあったテストスタジオでハイスピードボリュメトリックキャプチャ(HSVC)のデータ取りに成功したのが2021年5月です。これは世界初ですね。以来現在もよりよいデータの取得とその応用のための研究と開発を進めています。
長濱:そうですね。技術も月単位で進歩していますし、撮影データから生成した3D動画モデルのクオリティーも日に日に向上しているという状況です。
福永:私はCAD※1開発のエンジニアを生業としていたので、開発の過程で得られた3Dモデル動画のデータについて、いろいろと相談を受けていました。その流れで本格的に参加することになり、主に3Dモデル動画のビューワーの開発をしているほか、エアバッグのシミュレーションデータと本システムのデータを比較するため、CAE※2のポストプロセッサー※3として、CAEベンダーとの連携機能実現のための交渉などを担っています。
CAD※1 … Computer Aided Design(コンピュータ支援設計)。設計や製図を支援するソフトウェア
CAE※2 … Computer Aided Engineering(計算機援用工学)。コンピューター上で技術計算やシミュレーション、解析を行うソフトウェア
ポストプロッセサー※3 … ここでは、CAEで生成されたデータをHSVCのシステムに変換させることを指す
長濱:私はもともとグループ会社のIMAGICAで社内システムの開発やエンタメ撮影現場でのオペレーション・機材製作など、開発と現場を行き来していました。本プロジェクトでの役割も開発と現場、両方を担当しています。電源や照明設備の選定・周辺機材開発を行いつつ、このやぐら設営・システム構築も行いました。
安 :私はもともとハイスピードカメラを購入するお客様に向けたアプリケーションの提案や、購入していただいたお客様に向けて、技術サポートを担当していました。本プロジェクトでは撮影を含めたシステムの運用とアプリケーション開発、あとはデータ処理を担当しています。
安 :開発段階では、表面が真っ白で模様や凹凸などの特徴がないエアバッグの3次元形状データをいかにして正確に取得するかという課題がありました。
実験を重ね、市販のプロジェクターでエアバッグの表面にマーキングを投射してそれを撮影することで、展開したエアバッグの正確な3次元形状の取得が可能ということはわかったのですが、どんなプロジェクターを使えばいいのか、ハイスピードカメラで撮影するのだからフリッカーフリーでないといけない、また、照明との明るさのバランス調整や投射するマーキングのパターンは何がいいのかなど、試行錯誤はいろいろとありました。
ただ、それが苦労かと問われると、正直そんな気持ちはまったくありません。創意工夫を繰り返し、成功パターンを見つけていく工程は、私にとってチャレンジングで楽しいことでした。
長濱:そうですね、難題もありましたが面白いプロジェクトでした。ただ、ハード面……実はこのスタジオのやぐらも設備も我々の手で組み、カメラや照明を設置したんです。なので、ぶっちゃけてしまえば一番の苦労は肉体労働です(笑)。
安 :ケーブル配線や照明の管理、41台ものカメラの撮影(露光)タイミングの同期、エアバッグの展開開始のトリガーとカメラの撮影開始のトリガーの同期、6台のパソコンで41台のカメラをどう制御するかなどシステム構築などもチャレンジングな課題でした。ただ、苦労したという感覚はほとんどなく、出来上がりを想像し楽しみながら検討しましたし、それが実現して運用できるレベルの物となったときは非常に嬉しかったです。
長濱:大変なことといえば、エアバッグを取り付けるための台、我々は架台と呼んでいるのですがそれがエアバッグ展開の際に強度不足で揺れてしまうことがある。そこで架台に補強を入れたら今度はそれが撮影に干渉して支障がおきる。エアバッグは個体差があるので毎回ちょうどいい塩梅、バランスを見つけるのは苦労しましたね。
それと、今はエアバッグなど産業用途での依頼が多いのですが、案件によってはスタジオの設営条件がかなり異なってきますよね。エンタメ分野でも活用できるよう汎用性(柔軟性)を重視しました。
テスト環境時に構築したスタジオでは、配線がかなり煩雑で全く整理ができておらず、何とか動いているって状態だったんです。電源を見てもどこがどうつながっているのかよくわからなくて、撮影のたびにカメラのケーブルを抜いてつなぎ直して…という作業を繰り返していたので、この新しいスタジオでは管理しやすい環境構築を目指しました。電源や照明の制御、カメラのコントロール系、撮影の同期のためのトリガーシステムなど、かなり理想的なシステムになったと思います。
福永:苦労というか大変というか、ハイスピードボリュメトリックキャプチャ自体世界初ですし、お客様も我々に依頼することがそもそも初めてのトライですよね。だからどういうデータが出てくるかっていうのも担保されていない。撮影して3Dモデル動画をお客様に提出してみてどう評価されるのかというのがとても気になります。担当の方によって見るポイントが違っていて、「ここはいいね」と言っている人の隣で「ここは何でこうなっているのか?」などと言われることも結構あります。
お客様は、ハイスピードボリュメトリックキャプチャで今までは分からなかったこと、見えなかったものが明確になるのではと期待されています。その期待に応えるにはどんなデータであればいいのか、我々もまだ手探り状態で、撮影を繰り返しながら対応していくしかありません。そういった点はまだまだ不安もありますし苦労かもしれませんが、同時にとてもやりがいはあります。
41台のハイスピードカメラでエアバッグの展開している様子を撮影し、3Dモデル動画化を可能に。
CAEなどの解析シミュレーションソフトでの結果と照合もできる。
安 :ここが良くなればもっと素晴らしいシステムになる、というアイデアは現状でも沢山あります。例えばハイスピードカメラを当社のもっとハイスペックのものに変えればもっと良いものになるでしょう。そのためにも、まずこのビジネスを軌道に乗せていきたいですね。エアバッグでの死亡事故がゼロになれば、我々もとても嬉しく思います。さらに、エアバッグ以外のサービスでも活用してもらいたいです。
福永:現状ソフトウェア的にもこのシステムはかなりデータ量が多くて、動作スペックを要求してしまうとか、まだまだ粗削りなものとなっていますので、これをもっとコンパクトなものにしたい。カメラの台数を減らしても同等の情報が撮れるようにソフトウェア的にどう補えばいいのか、というのをテーマに研究を進めています。またCAEと比較するための仕組みや有意なデータの抽出をどうするかなど、将来的にこのデータがMBD※に直結できるものにしたいと考えています。
MBD…Model Based Development。シミュレーション技術を活用した開発手法。コンピューター上に現実と同じモデルを作成し、開発と検証をおこなう。
長濱:私の方はこれを産業用ではなくエンタテインメント分野でも使ってほしいなという思いがあります。そのために間口を広げて、カメラや照明を簡単に交換や追加できるものに発展させていきたいです。ただしばらくはエアバッグの3Dモデル動画化に注力していくのは間違いありません。今は以前よりも洗練されていますが人力な部分もまだまだあるので、あらゆる作業を自動化できるようにも取り組んでいきたいですね。
皆さん貴重なお話をありがとうございました。有償サービスがスタートしてばかりのフォトロンのハイスピードボリュメトリックキャプチャですが、今後はエアバッグの展開試験だけではなく、さまざまな分野で活用されることを期待しています。
※このインタビューは2023年7月に行いました。カメラ台数などは当時のものです。
顔表示に特化した
ライトフィールドディスプレイの研究
東京農工大学とIMAGICA GROUPによる、
共同研究と目指す未来
映像表現の最先端で一緒に働きませんか?
研究開発に興味をお持ちの方、
実現したい何かをもつ方、映像分野が好きな方はぜひご応募ください。
誰も見たことのない未来をともに創り出すメンバーを待っています。
▶︎IMAGICA GROUP アドバンストリサーチグループ 採用情報はこちら
ARGおよびグループ会社と共同開発・研究を行ってみたい
大学研究室や企業研究所を募集しております。
ご興味がある方は、以下のフォームよりお問い合わせくださいませ。
「IMAGICA GROUP」が
テクノロジー×クリエイティブで目指す
イノベーションとは