GhostEyeとは

GhostEyeはスマートフォンや次世代のヘッドマウントディスプレイ向け のVR/AR技術を活用したインターフェイスを搭載し、空間の認識を基本 とするソフトウェアアプリケーションです。
将来的には画像認識と人工知能を組み合わせた空間認識へと拡張することでより広範な応用範囲をもたせます。

背景

スマートフォンが普及しつつあり、またVRやARが注目されており、スマートフォン などの小型デバイスと現実世界の情報を取得する各種センサーにより普及するIoT時代におい て画像認識をする技術を獲得する。また、画像認識に親和性の高い人工知能技術をインターフェイスと 統合することでより高度な処理のできるインターフェイスへと 発展することができる。

ディープラーニングの準備

今回使用したディープラーニングのツールはgoogle 社のtensor flowで、aws（amazon web services） 上でubuntu serverに展開。基本機能のみで画像 認識のCNNを構築した。
tensor flowでの学習は静的画像のみとして、今後 GhostEyeに展開する際にはリアルタイム画像に対しての使用を想定する。

画像認識用CNN

ディープラーニングを画像認識として使用する際 にはCNNを使用する。

HUDインターフェイス

今回のGhostEyeはHUDインターフェイスの作成 から開始した。スマートフォン側の機能としては 三軸・加速度およびジャイロセンサーを用いた。 HUDインターフェイスの動作は特に問題なく、 ジャイロセンサーは必須ではないが使用した。

画面の有効活用範囲

本インターフェイスは中央の視界を阻害しない範囲で情報をいれ、 空間の認識のために画面周囲に情報を配置した。
三軸・加速度・ジャイロの各情報をグラフ化もしくは数値のままで導入し、透明度を加えて配置した。
スマートフォンは表示領域が狭いので多くの情報を配置できない。また、VRのような他の インターフェイスなら多くの情報を配置することができる。

スマートフォンの場合にはカメラを通じた画像上 に配置となる。google glassのように実映像の上 に透明度のあるスクリーンで情報を重ね合わせる使い勝手は良いが遅延が発生する。