こんにちは！

初めまして。開発本部の住元です。
普段はiOSアプリの開発を主に担当しています。
8月某日、遂に弊社にもHoloLensがやってきました！

前々からMR系の技術に興味があり、思い切って社長に購入をお願いしたところ快くOKしてくれました。
社長と社員との距離が近く、声も届きやすいのが弊社の良いところの一つだと思っています。

今年のde:codeにてCognitive Serviceを使ったアプリのデモを色々と拝見しました。
これなら比較的簡単にできそうだと考え、勉強も兼ねて、顔認証で社員の情報を表示するHoloLensアプリを作りました。
顔認証の部分はCognitive ServiceのFaceAPIを使用しています。
非常に簡単にできますので興味あるかたは、ぜひチャレンジしてみてください。
簡単ではありますが内容まとめてみました。

開発環境など

開発環境：Unity 2017.4.12 , MixedRealityToolkit-Unity 2017.4 , Visual Studio 2017 Pro

処理の流れ：

1.Hololens側で人物の顔に照準を合わせてタップ
2.HoloLensのカメラにて写真を撮影→タップした座標の周辺をトリミング
3.FaceAPIに撮影した顔写真を投げる
4.FaceAPI側から顔の座標とFaceIDが返る
5.FaceIDをFaceAPIに投げる
6.FaceAPIにて学習済みのIDに対応した人物情報が返される
7.顔の位置の2次元座標を３次元座標に変換し人物情報を表示するパネルの表示位置を決め、表示する

工夫点：

社員情報だけではおもしろくないので社長の提案で戦闘力を表示するようにしています。
戦闘力は社長の53万をMAXとし、
Azure Face APIへの人物の登録、学習用顔写真の登録は結構手間なので、専用のiPhoneアプリを作成しiPhoneで撮影した人物写真と社員情報を入力してお手軽にFaceAPIに登録できるようにしています。

苦労した点：

最新のUnity2018系だとHoloLensのカメラの機能がうまく動作せずかなりハマりました。HoloLensの開発はUnity2017.4が安定していると思います。

今後の改良点：

FaceAPIの代わりに、WindowsMLを用いてクライアント側で顔認識処理をするなど考えています。
WindowsMLの利用方法などはまた別の記事にて紹介したいと思います。

ちょっと真面目な話

ここからは、少しまじめなお話です。

イーストはMixed Realityという分野にあまり明るい企業ではありませんが、この分野の将来性については非常に明るいものであると考えております。
Mixed Realityという分野は、ARやVRでは実現できないことを実現できる分野、
たとえば、そこにいないひと、そこにないものを表現したり、空間に浮かび上がる情報や映像を表示したり、その場を別の空間に感じさせたり、と、その場所といろいろなことを
組み合わせて不思議で便利な複合現実空間を作成することができます。

メガネタイプなので、両手が自由に使えます。スマートグラス（あるいはヘッドマウントディスプレイ？）が小型化、量産化し、バリエーションが増えれば、
スマホやスマートウオッチ感覚で手軽に、手も塞がずに、視界も遮らず、必要な情報にアクセスすることができるようになります。
必要な情報やIoTデータはAzureなどのパブリッククラウドに蓄積、様々な情報はAzureCognitive Serviceなどを利用して適切に処理された結果が
リアルタイムに提供されます。

HoloLensを活用したい、アイデア出しを手伝ってほしい企業様、実証実験や本番開発で人手が足りないSIer様、ぜひイーストにお問い合わせください。

最後に

皆さんも是非HoloLensつかってみてください。イーストにご足労いただければいつでもHoloLensが体感できます！
実際に使ってみると、なにかに活用できる！活用したい！と感じていただけると思います。