メタバースで実現するデジタルツイン~現実空間の走行ロボットをリアルタイムに制御~

2024年06月21日

  • ICTシステム開発
  • 人工知能(AI)
  • 研究開発
5GやICTサービスなどの普及とともに「デジタルツイン」が注目されていて、特に生産現場や都市の建設計画などでの活用が進んでいます。デジタルツインの市場規模は年々伸び続けており、2025年には約3兆9000億円に成長すると予測されています。

参考)総務省 https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r05/html/nd247530.html

三栄ハイテックスの研究開発の部門では、メタバース関連の技術開拓の取り組みとして、デジタルツイン機能を実現する独自のメタバースプラットフォームを開発しました。

https://www.sanei-hy.co.jp/rd/metaverse/

本稿では、開発したプラットフォームの詳細をご紹介します。

デジタルツインとは?

はじめに、デジタルツインの概要とその活用事例を紹介します。

「デジタルツイン」とは、現実世界と全く同じ環境を仮想空間上に再現する技術です。この技術は、現実世界でセンサーやIoT技術を使ってデータを収集し、仮想空間に反映します。仮想空間ではAIなどでデータを分析・シミュレーションし、その結果を現実世界にフィードバックする仕組みです。

すでに、製造業や建設業、物流業や都市計画プロジェクトなどでデジタルツインの活用が広がっています。

デジタルツインのメリット

予知保全

将来に起こりうる設備の劣化や部品の破損などを仮想空間でシミュレーションすることで、交換/修理の時期を予測するなどの保全に活用する

コスト削減

仮想空間上で製品や建物を製作するため、実際に製作・検証するよりも製作にかかる費用や期間といったコスト削減につながる

遠隔でもコミュニケーションが可能

現実の状況をリアルタイムに仮想空間に反映することで、離れた場所にいる利用者同士で状況の確認や意思決定が効率的に行える

デジタルツインの活用例

製造業

  • 過去の経験から生産ラインで将来に起こりうる停止原因を予測して、未然に防ぐ
  • 生産ラインにロボットを投入する際に、安全対策などをシミュレーションして、最適な配置を検討する

建設業

  • 複数の施工パターンをシミュレーションして、最適な建設計画を策定する
  • 現場の状況をリアルタイムに反映して、遠隔地から施工状況やメンテナンス状況を確認・支援する

公共事業(都市)

  • 社会インフラや人流データなどをリアルタイムに重ね合わせ、都市開発計画や渋滞緩和策などを立案する
  • 台風発生時に浸水が想定される地域を予測して、災害対策を検討・実施する

メタバースプラットフォームの開発事例紹介

当社では、デジタルツインを実現するメタバースプラットフォームを開発しました。制御対象となるエッジデバイスの製作や3DCGモデルの制作、エッジデバイスサーバーとメタバースサーバーの設計・構築についてご紹介します。

開発したメタバースプラットフォームの全体構成を下図に示します。製作したエッジデバイスや各サーバーなどの詳細は、以降の説明をご覧ください。
デジタルツイン機能を搭載したメタバースプラットフォームの概要図
デジタルツイン機能を搭載したメタバースプラットフォームの概要図

エッジデバイスの製作(走行ロボット)

エッジデバイスとして、32bitマイコン(ESP32)を搭載した走行ロボットを製作しました。前輪にボールキャスター、左右にタイヤ(それぞれのタイヤにモーターを接続)を備えた構造です。マイコンでは、エッジデバイスサーバーと常時通信し、モータ制御を行います。筐体は当社所有の3Dプリンターで制作し、上部には位置推定用のARマーカーを取り付けています。
※本来 、ARマーカーは AR(拡張現実)を表示するために使用する目印(マーク)で、スマホやタブレットなどでARマーカーを読み込むと、画面越しにARコンテンツを見ることができます。近年は、自動運搬ロボットの位置情報を把握するためにARマーカーを活用する事例もあります。
製作した走行ロボット
製作した走行ロボット

3DCGモデルの制作

走行ロボットの3DCGモデルは、Blender + Unity で再現制作しました。

Blender:3DCG制作ツール

  • 3Dプリンター印刷用のCADデータから筐体部分とボールキャスターやネジなど各種パーツの3DCGモデルを作成
  • これらのパーツモデルを組み立てて、ベースとなる走行ロボットの3DCGモデルを作成

Unity:ゲーム開発エンジン

Blenderで制作した3DCGモデルに色塗り(テクスチャとマテリアルの設定)を施して完成
※テクスチャはモデル表面に色や模様を貼り付けること
 マテリアルは表面上に質感(凹凸や金属光沢など)を与えることです

3DCGモデルの作成の様子(写真は旧デザイン時のものです)
走行ロボットの3DCGモデル制作の様子
走行ロボットの3DCGモデル制作の様子

エッジデバイスサーバーの設計・構築

エッジデバイスサーバーでは、上空からUSBカメラで広角撮影してフィールド上の走行ロボットの位置情報を取得します。
この位置情報を常にメタバースサーバーに送信しています。
また、メタバースサーバーからの制御命令を受信すると、モーターへの制御量を計算して走行ロボットに送信します。

メタバース環境の設計・構築

メタバース環境は、クライアントPC上で実行する単独アプリとしてUnityで開発しました。
 
  • ユーザーはアプリ内の矢印ボタンで操作して、前進・後進・旋回の制御命令をメタバース用クラウドサーバーに送信します。
  • クラウドサーバーは、他社製の通信エンジンのクラウドサービスで構築しており、制御命令をエッジデバイスサーバーに送信します。
  • 現実の走行ロボットの位置情報が、エッジデバイスサーバーから随時フィードバッグされ、リアルタイムにメタバースアプリへ同期されます。
デジタルツイン機能を搭載したメタバースプラットフォームの全体構成
デジタルツイン機能を搭載したメタバースプラットフォームの全体構成
実際に、メタバースアプリ経由で現実の走行ロボットを制御している様子をご覧ください。
当社が開発したメタバースプラットフォームにより、走行ロボットのモーター制御・位置制御を実現し、デジタルツインが可能であることを紹介しました。今後は、当社の研究開発部門が別途取り組んでいるスマート農業(https://www.sanei-hy.co.jp/rd/smart_agri/)の自動収穫ロボットへの応用を検討しています。
メタバース空間でのシミュレーション体験が可能に!
シミュレーターツールの体験版リリース
当社では、メタバース空間におけるロボットやドローンの制御シミュレーションを実現するためのシミュレーターツールの開発に取り組んでいます。このツールは、ユーザーが仮想環境でさまざまな機器をシミュレーションし、操作することができます。2024年8月には、一部機能を実装した体験版をリリースしました。これにより、ユーザーの皆さまにこの新しい技術を直接体験していただけるようになりました。

体験版の詳細については、以下のリンクからご覧いただけます。
今後も、私たちのブログを通じて最新情報を随時発信していきますので、ぜひご期待ください。