［GDC 2018］視線追跡技術がVRを進化させる。Tobiiの語る「2ステップ・インタラクション」とは

Oscar Werner氏（Business Unit President，Tobii Tech）

　2001年の創業以来，視線追跡（アイトラッキング）技術を探求し続けてきたスウェーデン企業Tobii Technology（以下，Tobii）。そのTobiiにて，Tobii Tech部門のビジネスユニット担当取締役を務めるOscar Werner（オスカー・ワーナー）氏と，プロダクト管理部門のディレクターであるJoakim Karlen（ジョアキム・カーレン）氏によるセッション「Eye Tracking in VR and AR」（VRやARにおける視線追跡）が，GDC 2018で行われた。
　セッションのテーマは，Tobiiが「2ステップ・インタラクション」と呼ぶ，アイトラッキングのナチュラルな入力システムだ。本講ではその概要をレポートしたい。

VRやARに積極展開するTobii

　視線追跡と言えば，次世代の入力システムとして，ゲーム市場においても大きく期待されている分野のひとつである。Oculus VRやGoogleが，独自の視線追跡技術を開発中であることが知られるほか，Magic Leapが開発中のMixed Reality（MR，複合現実）対応ヘッドマウントディスプレイ（以下，HMD）「Magic Leap One」でも，視線追跡技術を採用していることが，GDC 2018で発表されるなど（関連記事），この先数年で，VRやAR（Augmented Reality，拡張現実），MR――これらをまとめてXRと呼ぶ――デバイスにおける一般的な技術となりそうな勢いだ。

　Tobiiも以前から，XR分野には積極的に取り組んでおり，たとえば昨年のGDC 2017では，Valveと提携して，VRプラットフォーム「SteamVR」に対応する視線追跡技術の開発キットもリリースした実績がある（関連記事）。

Snapdragon 845 Mobile VR Reference Design。Tobiiの視線追跡技術を採用している

　今回のGDC 2018でも，会期直前の北米時間2018年3月15日に，Qualcommとの提携を発表済みだ。この提携により，Qualcomm製のハイエンドSoC（System-on-a-Chip）である「Snapdragon 845 Mobile Platform」（以下，Snapdragon 845）を中核としたVRプラットフォーム「Snapdragon 845 Mobile VR Platform」（関連記事）に，Tobiiの視線追跡技術が統合されることが明らかになった。
　GDC 2018会場のイベントフロアでは，早くも視線追跡技術に対応したVR HMDのデモが行われたほどである。

GDC会場のイベントフロアにあったTobiiブース

視点追跡テクノロジーが装備されていない現行のVRヘッドマウントディスプレイは，何も見えていない状態に等しいとWerner氏は主張する

　今回のセッションで，Werner氏らが語った2ステップ・インタラクションとは，こうした視線追跡テクノロジーの利便性を最大限に活用するものである。
　現状のVR/AR HMDで，たとえばポイント＆クリックによる移動を行う場合，プレイヤーはまず，目的の場所を目視したうえで，入力デバイス――大抵はなんからのモーションコントローラ――で当該地点をポイントして，さらにボタンやトリガーを押して移動するという3つのステップを踏むことが多い。
　だが，HMDがユーザーの視線を追跡する機能を備えていれば，“入力デバイスで当該地点をポイントする”部分を視線を向けることで置き換えられるため，“2ステップ・インタラクション”で済むというわけだ。

視線追跡技術を組み込んだVR HMDなら，モーションコントローラに依存した操作よりも，自然な移動が行えるという

こちらは，GDC 2018の展示会場にあるQualcommブースでデモを披露していたSnapdragon 845 Mobile VR試作機のゴーグル内部。レンズの周囲にある点が，視線追跡用のセンサーである。デモでは，VR空間で視聴する映画の選択を，視線追跡で行う体験ができた

　事実，人が近くにある雑誌やドリンクといったものに手を伸ばそうとしたとき，最初に行う行動は「見る」である。目を向けたうえで，そこに手を伸ばせば，対象のオブジェクトをつかめるだろう。既存のVRゲームであるような，「対象のオブジェクトをしっかりと見定め，オブジェクトまでの距離を計算してから，ようやく手を伸ばす」という人はまずいないだろう。
　Werner氏やKarlen氏は，このことをていねいに何度も説明していたが，視線追跡テクノロジーがあるHMDとないHMDでは，どちらがよりナチュラルな入力が可能だろうかという問いへの答えであることは，誰でも理解できるであろう。

視線追跡技術によるフォビエイテッドレンダリング

　4Gamerでも何度か紹介しているが，視線追跡技術を組み込むと，ユーザーが映像のどこに視点を合わせているのかを，HMD側が把握できるようになる。視点がどこにあるかを把握できれば，視点付近を鮮明に描き，視点から離れたところはボケたように表現することで，視点を基準とした被写界深度を疑似的に表現する「フォビエイテッドレンダリング」（Foveated Rendering）が実現可能となるわけだ（関連記事）。

こちらは関連記事から引用したフォビエイテッドレンダリングのサンプル画像。赤い枠が視点のあるところで，そこから離れるに従って，ぼかしが強くなっている。これをVR HMDで見ると，周囲がぼやけているようには意識しないという

　フォビエイテッドレンダリングは，映像のすべてを高解像度で表示するしかない現行のVRにおけるレンダリングから考えると，大きな飛躍であり，VR機器のレンダリング性能が上がったような効果をもたらすこともできる。VRコンテンツ側でも，集中力が必要となるシューティングゲームから，ストーリーテリング重視のゲームまで活用されていくのではないだろうか。
　VR HMDに限らず，PC向けの外付け型視線追跡デバイスである「Tobii EyeX」を使えば，通常のディスプレイでもフォビエイテッドレンダリングを実現することは可能だ。ただ，視界をゴーグルで覆って見た目に大きな映像を表示するXRデバイスのほうが，フォビエイテッドレンダリングとの相性が良いのは間違いない。

視線追跡技術で，どんなデバイスや体験を実現できるかを示したスライド。左はデバイスで，フォビエイテッドレンダリングや3D酔いしにくいディスプレイ，生体認証機能を備えたデバイスを実現可能としている。右は体験の例を示したもので，視線による入力，視線を反映したキャラクターとのやり取り，ユーザーの行動分析などが可能になるという

　Werner氏は，Qualcommを含めた5社と，視線追跡技術に関する契約を行っている段階であると述べており，2018年内にも関連製品が登場する予定であるらしい。また，Tobiiでは，OEMのサプライヤーとの協業も模索している様子だ。
　VR業界のキープレイヤーが，次々と視線追跡技術に取り組み始める中，今回のTobiiによるセッションでは，自社の技術を他社と比較するといったゲスなこともなく，淡々とVRの未来像について語っていることに好印象を受けた。

こちらは，Qualcommブースでデモを披露していた，同社のARデバイス「HoloGrid」。「Snapdragon 835 Mobile Platform」を搭載しているそうで，標準ではTobiiの視線追跡技術には対応していないが，対応も可能であるという。写真のデモ機では，Star Warsの劇中に出てきた，ミニチュア生物によるチェスのようなゲームデモ「Monster Battle AR」を披露していた

Tobiiのゲーマー向け情報ページ（英語）

Tobii 日本語公式Webサイト