株式会社ソニー・ミュージックソリューションズ（本社:東京都港区、代表取締役:大谷英彦、以下SMS）は、ソニーセミコンダクタソリューションズ株式会社（本社：神奈川県厚木市、代表取締役社長兼CEO：清水照士、以下SSS）が開発をした、『ToF AR Pro』SDK （Software Development Kit、以下SDK）のライセンス販売を開始いたします。

■距離情報が取得できるセンサーを使って、身近にあるスマートフォンで、今までにない体験を届けたい

　スマートフォン向けソフト開発キット『ToF AR Pro』とは

“ToF”とは、Time of Flight（飛行時間）の略で、文字通り光の飛行時間を用いる方式。光を飛ばして反射して返ってくるまでの時間を測ることで、物体までの深度情報、いわゆる「奥行き」を取得することができる技術で、現在は主に自動車の自動運転や工場の自動化などで使われています。

この技術を身近なツールであるスマートフォン向けXRに応用いただくことで、これまでにない体験を届けたい。そんな思いから、SSSが開発したのが、『ToF AR Pro』SDKです。

『ToF AR Pro』は、スマートフォン搭載の距離情報が取得できるセンサーの情報と独自のAI処理技術により、仮想空間オブジェクトのリアルな深度情報によるマッピングや、全身、上半身、手、指までの関節の認識により、正確なジェスチャートラッキングでアバターコントロールを実現することができます。特にハンドトラッキングは非常になめらかで、位置や指の向きなど操作者の動きの特徴を捉え、かつ3次元的に再現可能。操作が簡単でアバターの動きにリアル感が出るといったメリットだけでなく、ジェスチャーを使ったゲームやエフェクトなど、これまでにない演出やアイディアをアプリ開発に活かせるようになります。

 

距離情報が取得できるセンサーの情報は、太陽や照明、服の色など、周囲の環境の影響を受けません。取得する情報量を通常のイメージセンサーよりも少なくし、比較的シンプルなAI処理で高精度な認識を可能にしたことで、消費電力や発熱を小さくすることを実現。これにより、スマートフォンへの活用を実現しました。

 

『ToF AR Pro』を、XRやゲーム、メタバースアプリなどの開発にご活用いただき、バーチャルワールドの新たな扉を開いてみてはいかがでしょう。また、深度情報が身近な世界になることで、新しいコミュニケーションや医療・教育など、これまでにない分野での活用が実現できることを期待しております。

 

 

■『ToF AR Pro』の特徴　

１．進化した深度情報によるマッピング

ToF AR　Proの進化した深度情報によるマッピングは、仮想空間オブジェクトのディテールや位置をより正確にキャプチャーし、仮想空間のリアリティを向上させます。

 

２．ハンドトラッキング

上半身、手、指の関節の位置を認識してトラッキングすることができます。上半身を認識することで、手がカメラ映像外でも認識でき、アバターの制御や上半身認識を追跡することが可能です。

 

３．Unityで開発可能

UnityにToF AR Pro　SDKを組み込み、距離情報が取得できるセンサーを使ったモバイルXRアプリを簡単に開発できます。ゲームやアプリ開発、映像の制作などのエンタテインメント領域で、幅広く活用できます。

■『ToF AR Pro』で実現するバーチャルワールド　

１．着席状態の上半身を利用して3Dアバターの直観的操作が可能に！

２．スマホ1台で超手軽＆高精度な顔・手・指・上半身のモーションキャプチャーができる！

３．ジェスチャー認識で手指の動きや形状により操作やエフェクト発生も！

　＜ 『ToF AR Pro』　概要＞

基本機能	平面検出／ポイントクラウド／メッシュ（Depth+SLAM）／ヒューマンセグメンテーション＆オクルージョン／デプスマップの取得
高精度な3Dハンドトラッキング	ハンドジョイントトラッキング／ハンドポーズ認識／ハンドジェスチャー検出／両手のポーズ認識／両手のハンドジェスチャー検出
高精度な 3D上半身トラッキング （フロントカメラ）	Humanoidモデル制御／上半身トラッキング
高精度な3D全身トラッキング （フロントカメラ）	全身トラッキング
表情制御 （フロントカメラ）	パーフェクトシンク未対応モデルにもArkitの52Blend ShapeからVRMの表情制御

 

＜『ToF AR Pro』の詳細情報は下記よりご確認ください＞

• SMSコーポレートWEBサイト内『ToF AR』紹介ページ

https://sonymusicsolutions.co.jp/s/sms/diary/detail/751?ima=000

 

●『ToF AR』公式サイト

https://www.tof-ar.com/