［CEDEC 2023］VTuberに触れる，からっぽの口で咀嚼を楽しむ，自分で自分を抱きしめる……五感に訴えるインタラクティブ展示の数々

　4年ぶりにオフラインでの聴講が可能になったCEDEC 2023の会場には，研究の成果であるデバイスなどを実際に触ることができる「インタラクティブ展示コーナー」も設けられていた。

　展示されていたデモは，視覚や触覚，嗅覚といった，人間の五感に訴えるものが中心。中には別途設けられたセッションで詳しい解説が行われたものもあるのだが，やはりこの手のものは「百聞は一見にしかず」，実際に試してこそだろうということで，その模様をお伝えしよう。

VTuberがスパチャのお礼に手を触ってくれる!?

　「スマートフォン×電気刺激を用いたライブ配信の触覚エンタテインメント」と題されたブースでは，電気通信大学の高見太基氏が開発した「LivEdge」のデモが行われていた。これは，VTuberを含むストリーマーと，視聴者間の触覚によるコミュニケーションを可能にするデバイスだ。

　より具体的に説明すると，ストリーマーのアクションをウェブカメラで認識し，その情報を視聴者に送信。視聴者側では，スマホの左右に貼り付けられた電極アレイからの電気刺激によって，ストリーマーに手で触れた感覚を再現するというものだ。

こちらが電気刺激を発生させるデバイス。スマホのケースに取り付けられるコンパクトさで，電源もスマホから取ることができる

　写真を見れば分かるとおり，電極アレイはスマホの長さの半分ほどをカバーしており，刺激の発生箇所や強さを細かくコントロールできる。
　ストリーマー側は，視聴者が電極アレイのどこを触っているかが分かるので，そこに向かって手を伸ばしたり，頭をぶつけたりするようなアクションをすればいい仕組みだ。

画面の左右に表示されている緑のラインは視聴者が触れている部分，黄色のラインはストリーマーが触れている部分を表す

　実際に体験してみると，ストリーマー役の人がこちらの手をなでるようなアクションをすると，何か柔らかいものが動いていくような感触があった。電気刺激が弱いと何も感じず，強すぎると痛いだけになってしまうので，リアルな触覚にするには，そこの調整が大事になりそうだ。

　視聴者を選んで刺激を送ることもできるため，ブースにいた担当者の方は「スパチャを送ってくれた人だけに触れるといった使い方もあり得るのでは」と話していた。近い将来，名前読み上げに続くお礼として定着するかもしれない。

さまざまな振動を手軽に取り込める

　スクウェア・エニックスのサウンド部に所属するサウンドプログラマーの山本雄飛氏と徳武魁人氏は，「振動フォーリー」の体験ブースを出展していた。


　「フォーリー」とは，映画などに使われる音声を，実際の映像を見ながら，さまざまな道具を使って収録する録音手法のこと。大量の小豆をかごに入れて揺らし，波の音を収録する方法が有名かもしれない。
　振動フォーリーでは，それと同じような手法で，コントローラで使われる振動のデータを取ろうというわけだ。

　ブースに置かれていたのは，PCにケーブルでつながれた黒い箱。中には振動センサーが入っている。
　この箱を振動を取りたいものにくっつけたうえで実際に使うと，PCにその振動データが取り込まれるという仕組みだ。

上に乗っているのが，箱に内蔵されている振動センサー

　実際にこの手法によってデータを取ったという「のこぎり」「はさみ」の振動をDualSenseで体験してみた。握っているものの形状が違うこともあり，振動からすぐにそれらの道具が浮かぶようなものではないが，ゲーム中でのこぎりやはさみが使われるシーンにこれら振動が割り当てられていても，違和感はないだろうと感じた。

“録音中”の振動をそのままコントローラに流し，それを確認しながら，欲しい振動になるよう調整するといったこともできる

　音声のフォーリー録音では，録った音をそのまま使うのではなく，ソフトで編集することが前提となっているようだが，それは振動フォーリーでも同じとのこと。それっぽい振動を0から作るには手間がかかるため，おおまかな形のものであっても，手軽に取れれば開発はしやすくなるという。

　Nintendo Switchの「HD振動」や，PS5の「ハプティックフィードバック」などによって，最新のゲーム機では以前よりも細やかな振動表現が可能になっている。
　だが，ゲームの開発全体から見ると，振動にかけるコストはどうしても小さくなりがちで，なかなかハードウェアが持っている性能をすべて引き出すまではいかないのが現状とのこと。本来はやるべきと感じているハードウェアごとの最適なチューニングもできていないそうだ。
　そういった点を踏まえると，振動フォーリーのように，手軽に振動データが作れる手法が果たす役割は大きそうだ。

　なお，開発者から見て，振動表現がとことん追求されていると感じる数少ないタイトルの1つが，PS5にプリインストールされている「ASTRO's PLAYROOM」とのことなので，気になる人は確認してほしい。

自分で自分を抱きしめる体験

　電通の大瀧 篤氏と東京工業大学の髙橋宣裕氏は，ベスト型ハグ体験テクノロジー「Hugtics」を出展していた。

　これは，空気圧によって動作する人工筋肉を使ったウェアラブルデバイス。同じくウェアラブル型のセンサーを着せられたマネキンに抱きつくと，対応する部分が圧迫され，抱きつかれているように感じる。自分で自分を抱きしめるような，不思議な感覚だ。

「Hugtics」のベスト（右）と，そのセンサー（左）

　髙橋氏によると，以前の人工筋肉はもっと太かったのだが，技術の進化によって細くなり，Hugticsのように編んで使用できるようになったという。現在は，既製品のベストの上から人工筋肉で編んだものを纏うようなイメージだが，今後さらに技術が進化していけば，やがてはベストそのものを人工筋肉で作れるようになるだろうと話した。

　センサーは，空気で膨らんだ袋がたくさん貼り付けられているといった感じの構造。この袋を小さくすれば，さらに細かい表現が可能になるだろうということだ。


　「なぜハグなのか」という点については，メンタル面の不調を抱える人が世界的に増えている中，ハグとテクノロジーを使ったアプローチをしているという説明があった。実際に会場で試すことはできなかったが，ハグによる脳波の変化をLEDで可視化する仕組みも備わっている。


　以上の説明からも分かる通り，Hugticsはエンターテインメントのみに向けたデバイスというわけではないようなのだが，似たような存在ということで「OWO Haptic Gaming System」（関連記事）との違いについても聞いてみた。
　高橋氏は同製品についての詳しい知識はないと前置きしつつも「電気刺激を使っているのであれば，Hugticsのような圧迫感を表現するのは難しいのではないか」と話していた。

「噛むゲーム」が実現するかも？

　無機質なデバイスが置かれたブースが並ぶ中，ポップな雰囲気で目立っていたのが，電通や電通デジタルが開発した咀嚼体験システム「Phantom Snack」。

　骨伝導イヤフォンを装着して，ディスプレイの前に置かれた白い箱にあるボタンで食べたいものを選び，口を動かすと，食べ物に合わせた振動と音が伝わってくる。


　当然ながら舌や歯といったものからのフィードバックはないので，「まるで本当に食べているかのよう」とは言えないのだが，体験中，仕組みの説明に気を取られているときに大きめの「サクッ」という振動がきたときは，ほんの一瞬ではあるが，何かを噛んでしまったのかと混乱するような感覚があった。

　咀嚼の振動（音）は，実際にマイクを口の中に入れて録音しているとのこと。その振動は，体験者の咀嚼の状態（口の動き）に合わせて出す必要があるのだが，それは独自開発のAIを利用したカメラによる画像認識で推定しているそうだ。AIの学習には，日本人だけでなく外国人のデータも利用したという。

用意されていた4つの食品。架空のお菓子「Phantom Sweets」は，固めの泡を潰したような感覚があった

　また，体験中は白い箱から食べ物に合わせた香りが漂ってくる。香料はこのために作った特注品とのことで，筆者が最初にこのブースの近くを通ったとき，「どこかでフライドポテトを揚げている」と思ったくらいの再現度だ。

　咀嚼について「集中力を高める」「ストレスを軽減する」といったメリットがあると聞いたことがある人は多いだろう。Phantom Snackも，カロリーを摂取することなく咀嚼のメリットを享受することを当面の目的としている。また，嚥下障害などを抱えた人たちへ食感の体験を提供する手段としても考えているそうだ。

　ではゲームの場合，どんなことに使えるか。ブースにいた担当者の方は，現実には存在しない食べ物の食感を表現するなどの例を挙げた後，「ゾンビになって人間を襲い，噛みつくゲームとかどうでしょう」と提案してくれた。それはプレイしたいような，したくないような。

裸眼立体視はまだまだ進化する

　ソニーが構えていたブースは，「遠隔空間を目の前にリアルに再現できる時代」。縦長のディスプレイには，アイドルグループGran☆Cielの牧野真琴さんが映っていて，どうやら立体映像で表示される牧野さんと，リアルタイムでお話しできるらしい。

　言葉で説明してしまうと「立体映像を使ったオンラインミーティング」という，少々目新しさに欠けるものになってしまうのだが，実際に体験してみると，そのリアルさに驚くことになった。

等身大で表示される牧野さんがフレンドリーに対応してくれることもあって，体験者はみんな笑顔になっていた

　その理由としては，まず映像が高精細であることが挙げられる。

　3D映像に「なんとなくぼんやりしている」という印象を持っている人もいるかもしれない。その要因の1つとして，一部の立体視方式では，右目用と左目用の映像を表示させる関係上，解像度が半分になってしまうことが挙げられるのだが，ブースに置かれていたのは，55インチの8Kディスプレイ。半分にしても4Kというわけで，かなりの精細さだった。

　もう1つは，裸眼であるにもかかわらず，立体視の精度が高いことだ。裸眼立体視を体験中，顔を少し動かしたために物が2重に表示されてしまった経験をした人は多いだろうが，今回の体験中にそのようなことは起こらなかった。
　これは，ディスプレイの上に備え付けられた2台のカメラが，利用者の顔を認識し，映像を調整しているからとのこと。


　個人的に気になったのは，どうやって右目と左目のそれぞれに違う映像を届けているのかということ。ブースにいた開発者に聞いてみたのだが，「表面に加工をしている……ぐらいのことしか言えません」とのことで，企業秘密ということらしい。

　また，牧野さんはCEDECの会場であるパシフィコ横浜ではなく，東京の大崎にあるソニーの施設にいるとのことで，その間で巨大な8K映像をスムーズに転送することについても，さまざまな工夫があるようだ。

　VRヘッドマウントディスプレイの登場以降，影が薄くなっていたようにも感じる立体視だが，裸眼でこれだけのクオリティの立体映像を楽しめるとなると，まだまだ可能性はあるのではと感じられた。

4Gamerの「CEDEC 2023」記事一覧