HoloTakibi

• HoloLens
• IoT
• Nefry BT
• Unity
• 第1回テーマ作品

2017.11.10

田中正吾と申します。フリーランスのフロントエンジニアをしておりまして、過去にはFLASH制作を中心に、現在はフロントエンジニア制作に関わりつつ、手ざわりを軸としたインターフェースの観点から、デバイスと連携するIoTや、空間に情報が連携できるHoloLensといった制作も行っています。

さて、今回は、秋といえば落ち葉ってきれいですよね。そして、落ち葉と言えば、たき火。たき火と言えばおイモ。ということで、HoloLensでたき火と焼き芋をしてしまおうというコンテンツを作りました。

しくみ

このように、Hololensから点火指示を出すと、IoT側に連絡されて、たき火システムが点火する仕組みです。

もちろん実際に火は起こせませんが、

そしてHoloLensでは点火後にイモが焼けます！

IoT側のつくり

IoT側のつくりはこのようになっています。先ほどの図の右側です。

Hololensから点火指示を出されると、Nefry BTとテープLEDをベースにした、たき火に見立てたネットワーク連動LEDテープライト（たき火システム）に指示が送られ現実空間では点灯します。

中継にはNode-REDというビジュアルプログラミングで、サーバー連携がわかりやすく組めるものを使っています。

また、この部分を作るに当たっては、以下のように、いろいろとテストを繰り返しました。

• NefryBTでフルカラーテープLEDを動かすメモ – 1ft-seabass.jp.MEMO
• Node-RED MQTTブローカー経由でNefryBT＋フルカラーテープLEDを動かすメモ – 1ft-seabass.jp.MEMO
• NefryBTのGroveポートに直接つなげるためテープLED電子工作をしてみたメモ – 1ft-seabass.jp.MEMO

実際のたき火表現に適したものとしてLEDテープに至るまでの相談では、中畑 隆拓さん（白シャツブラザーズ 長男）にも相談いたしました。ありがとうございます！

たき火は100円ショップで運よく発見できた造花用の枯れ葉オブジェを駆使して装飾します。

NefryBT＋テープLEDをまず配置します。NefryBTのプログラムは指示が来るとランダムに明るさが変わりつつ赤く光るようにして、たき火感を演出しています。

輪っか状の葉っぱオブジェで大まかに配置を作ります。大まかで良いです。

あとは、1枚の葉っぱパーツで、いい感じに、うず高く積まれている感を出します。

点火されたの様子。重なっている部分がいい感じに透けていて、熱は出ないはずなのに、とても暖かそうにたき火が機能しています！

HoloLens側のつくり

さて、つづいて、HoloLens側のつくりです。

HoloLens側は、イモと質感を大事にしつつ、点火させるオブジェクトを自由に配置できるようにしました。

Windows Mixed Realityアプリケーション用のUI/UXライブラリ集「MRDesignLabs」を利用して、現実のIoT機器を確認しながらHoloLens上の点火システムを直感的に事前に配置できるUIを作っています。

Microsoft/MRDesignLabs_Unity: Mixed Reality Design Labs share experimental samples, explorations and learnings from Windows Mixed Reality Design group.

HoloLensは、シースルーになっているので、現実空間を見ながら対応できるのはとてもいいですね。しかも、一度位置をきっちり決めれば、HoloLensをかぶって移動しても吸い付くように、マッピングされ続けるので現実感が損なわれません。

たき火システムの準備の様子です。

このように位置を調整して仕掛けることができます。

なお、イモオブジェクト部分の制作や3D空間のアドバイスでは、宗川 真巳（白シャツブラザーズ 三男）さんにいただきました。イモの質感がうまく再現できました！

また、点火時はIoT機器に指示を出すのと同時に、芋が焼けるアニメーションと、たき火の音についても立体音響で存在感をプラスしています。

このパチパチという音はHoloLensのアプリ内で流れている音でして、立体音響に対応させているため、点火した後にたき火に近づくと音が大きくなり、遠ざかると音が小さくなります！もちろん、左右の位置によっても、現実感に合わせた、かたよりが出るので面白いです。

実際に動かしてみる

では、HoloTakibiしてみましょう。まず1つ。

うまく動かせました！

そして複数のたき火システムを紐付けてのバージョンです。

複数OFFのほうも。たき火を消すと音が減っていきます。

参考文献

HoloLensでの位置合わせにとても助けになった記事です。

• MRDesignLabを使いジェスチャー入力を取り扱う | D.YAMA Blog
• HoloLensで試すMRDesignLabs – 空セットアップとBounding Boxの利用 – Qiita

この記事の図表では以下の素材を使用させていただきました。

• アイコン素材ダウンロードサイト「icooon-mono」
• シルエットデザイン

音素材はオーディオストックさまから購入させていただきました。

ありがとうございました！

まとめ

ということで、たき火をテーマにしたIoT x Mixed Reality作品「HoloTakibi」をお伝えしました。

このように、Microsoft HoloLensは、Mixed Reality（複合現実）いうことで、現実空間に対して様々なデジタルの情報が関わることができます。

加えて、ごく自然にWi-Fiにつながりネットワークが身近にあるため、WEBの知識を活かせたコンテンツ作りができます。発展させてIoT的なデバイス連携によって、今回のたき火システムのように、物理的にも視覚的にも現実空間に体験を付与することが可能です。

そして、この仕組みは、HoloLensのような空間を入出力できるデバイスによって、現実では設置の難しいシチュエーションで仮想的にスイッチを配置できて照明機器の操作ができる可能性も感じますね

ATLの客員研究員に登録すれば、ATLに2台あるというHoloLensでこのようなコンテンツを作れます。HoloLensやIoTを使うと広い空間で試したくなるのですが、ATLの広い空間で試しながら調整していくことも可能です！

ぜひ、ATLの客員研究員にご参加下さい！