プロジェクションマッピングシステムの開発

技術とアートの融合への挑戦
当社は半導体設計をはじめとして、ソフトウエア開発、人工知能開発、ITサービスと多岐にわたる技術を保有しており、近年はロボットの研究開発も始めています。そういった技術をアートやエンターテインメントの分野に応用したら面白いのではないかと着想し、その第1弾としてプロジェクションマッピングシステムを開発しました。投影する対象の平面構造を自動検出し、その構造に合わせて画像や映像を自動調整するシステムです。
INDEX

プロジェクションマッピングとその課題

プロジェクションマッピングとは、立体的な形状を持った物体に合わせて加工を施した映像を投影する技術や作品のことを指します。このプロジェクションマッピングで、必ず行わなければならないのが投影対象とプロジェクターの位置合わせです。より良い視覚効果を得るためには映像の位置をピクセル単位で合わせる必要があり、ずれてしまうとせっかくの作品も見た目が損なわれてしまいます。この位置合わせは単純ではあるものの、実際にプロジェクターで光を投影し目視で確認しながら調整しなければならないことが多く、手間や時間のかかる作業となります。

ロボットシステム

当社では、ロボットシステムの技術開発の一環でプロジェクションマッピングの位置合わせの作業を自動化するシステム（プロジェクションマッピングシステム）を開発しました。位置合わせを自動化するということは、投影対象がどのような構造になっているかをセンシングして認識し、それに応じて最終的に出力する画像データを生成してプロジェクターで投影（出力）する、という一連の処理を自動化することになります。この処理をシンプルに表現すると「センシング」「アルゴリズムによるデータ処理」「出力」であり、これはロボットシステムの一種です。開発したシステムは、プロジェクターのどのピクセルが対象物のどこを照らしているのか、また対象物のどのあたりに投影しやすい平面があるのかを自動で認識します。本技術を用いることにより、作品を手掛けるクリエーターの方が、よりコンテンツ制作に時間をかけることができるようになると期待しています。

プロジェクションマッピングシステムの構成

本システムは単眼カメラ（いわゆる通常のカメラ）、プロジェクター、コンピューター（パソコン）の三つの要素で構成されます。通常プロジェクションマッピングを行うだけであれば単眼カメラは必要ありませんが、単眼カメラをシステムに組み込むことにより、単眼カメラ、プロジェクター、投影対象物それぞれの相対的な位置関係のキャリブレーションと投影対象物の認識を一体的に行うことが可能となります。単眼カメラ、プロジェクターは共に市販の物を購入して使用しています。

さまざまなセンサーを検討

センサーを用いてコンピューターに周囲の環境や物体の形状などを取り込む、いわゆるセンシングと言われる分野ではLiDARやステレオカメラなどが有名です。私たちもこれらの機器を用いてセンシング行い、プロジェクションマッピングのシステムを構築してみました。しかしながら、人間の目できれいと感じるものを作ることができませんでした。人間の目は非常に精度が高く、明るさなどの条件にもよりますが視力1.0であれば5m先にある数ミリメートル程度の大きさの物体であっても軽々と認識することができます。私たちが開発当時に所有していたLiDARやステレオカメラなどのセンサー機器を使った場合の認識精度は1cmほどで、人間の目で見ると明らかにずれていると感じてしまう状況でした。

光学カメラの利点に着眼

そこで、より精度の高いセンサーはないかと探したところ通常のカメラ（光学カメラ）にたどり着きました。思い返してみればカメラというものは非常に解像度が高く、人間の目と比較しても引けを取らないものが市場にも多く出回っています。近年ではリモートワークでいわゆるwebカメラを使用されている方も多いと思いますが、web会議等で解像度が悪くて相手の顔が見えづらいと思ったことは少ないと思います。このデバイスとプロジェクターを組み合わせてセンシングに用いることにより、人間の目で見てもきれいだと思えるレベルで対象の認識を行うことができるようになりました。下記でご紹介するように、プロジェクターによる光照射とカメラによる撮影を組み合わせて物体認識を行う仕組みにしたことで、プロジェクターとカメラの位置関係のキャリブレーションを改めて実施せずに済むという点も、センサーにカメラを採用するメリットです。

プロジェクションマッピングシステムの機能

開発したシステムは大きく三つのステップに分かれており、1.投影対象物のスキャン、2.投影に適した面の探索、3.プロジェクターの位置に対する補正となっています。

1. 投影対象物のスキャン

図：投影対象物のスキャン

2. 投影に適した面の探索

スキャン結果を用いて、投影に適した平面の探索を行います。探索の結果、投影に適していると判断された面に画像や映像の作品を投影することになります。
図：投影に適した面の探索

3. プロジェクターの位置に対する補正

カメラで検出した結果をそのままプロジェクターで投影しても投影面の位置がずれてしまうため、きれいに見えるように変換・補正をして投影します。
図：プロジェクターの位置に対する補正

デモ動画

本システムを用いたプロジェクションマッピングのデモ動画を作成しました。映像を見やすくするために白い段ボールを暗室の中に設置してスキャンから撮影まで行っています。
図：投影対象の写真
スキャンを行った後、凹凸が消えたように見える効果を動画に付与して投影しました。凹凸が消える効果はキャリブレーションの情報に強く依存しており、出来上がった動画のきれいさはキャリブレーションの正確さを表しています。
アルゴリズムが検知した映像を投影するのにちょうどよい平面に動画をはめ込んで投影しています。投影する面の領域は探索結果をそのまま用いており、人間の手による微調整等は行っていません。

お気軽にお問合せください。

技術とアートの融合への挑戦として、ロボットシステムのセンシング技術をプロジェクションマッピングに応用しました。 今後も、ロボット、AI、IoT等の技術をエンターテインメントや社会的課題の解決に活用する取り組みを進めてまいります。 当社の技術に興味がございましたら、ぜひお問い合わせください。
研究開発