ゲームの品質と魅力の更なる向上には，ユーザーレビューをどう実行し，活用すべきか。300件以上の事例に基づくノウハウを語る［CEDEC 2024］

　ゲーム開発者向けカンファレンス「CEDEC 2024」の初日（2024年8月21日），セッション「過去300件以上の評価実績を通じて分かった、ゲームの魅力的品質向上のためのユーザーレビューの重要性とポイントを解説」が行われた。タイトルのとおりゲームの魅力をより高め，品質を向上させるためにユーザーレビューをどう活用すべきなのかという解説だ。


　講演者は，AIQVE ONEのエンタメQA部で第1セクションマネージャーを勤める杉山博康氏。約7年の間に，約320件にも及ぶさまざまなレビュー業務を行ってきたこその，経験に基づく生の声が語られた。

そもそも，なぜユーザーレビューが必要なのか？

　杉山氏はまず，なぜユーザーレビューが重要なのかを説明した。

　「バグが0だけど面白くないゲーム」と「バグが多少あるけど面白いゲーム」だとユーザーはどちらを選ぶかといえば，ゲームは娯楽作品なので当然後者となる。デバッグやQA（品質保証）は「あたりまえ品質」，すなわち最低限求められる品質やバグの少なさを実現する手法だが，これはあくまでマイナス状態をゼロに近づけるもの。ユーザーを満足させるにはそれ以上の満足感や感動を与える「魅力的品質」が重要で，それを実現するためにユーザーレビューを活用する必要があるとのことだ。


　また，そもそも「面白いゲーム」とは「面白く仕上がっているゲーム」ではなく，あくまでユーザーに「面白さが伝わっている」ことが必要で（取っつきが悪いと，基本プレイ無料のスマホゲームだったりするとすぐ離脱されてしまう），さらにアニメ原作などのIP作品の場合は，面白さが伝わったうえで「ファンが望むゲームであること」にも気を配らなければいけないという。


　ここでは“架空の陶芸アニメ”が原作だった場合の具体例が挙げられた。登場人物のキャラはそのままでも，ゲーム内容がカードバトルで肝心のツボ（陶芸品）がガチャ入手だったりすると，アニメで好評を得た陶芸の深みは実装できないし，カードバトル自体が不要な要素として足を引っ張る場合すら考えられる。

　IPを利用したなら，あくまでファンのニーズに合ったゲームシステムなどを実現するのが重要で，ユーザーレビューを活用しておけばそれを知れたかもしれない，というわけだ。

ユーザーレビューはいつ行い，具体的にはどう実行するのか

　杉山氏によると，ユーザーレビュー自体はいつでも実行可能とのことだが，“目的（やりたいこと）”によってそのタイミングは違うという。例えばユーザーのニーズの把握やゲームの方向性を決めるならなるべく早く（例として遅くても企画段階），逆にゲームのバランス評価や宣伝のポイントを把握したいなら，βテストの段階になるだろうとした。

　ただ逆に，βテスト時点では（すでに出来上がっているため）「ゲームバランスぐらい」しかいじれないので，前述のとおり調査内容を何に活用するのかの“目的”によってタイミングを決めるべきとのこと。


　実際の調査手法は大きく分けて，アンケートなどで統計的な分析を行う「定量調査」と，インタビューや議論を行う「定性調査」の2つだ。それぞれメリットとデメリットがあり，端的には定量調査（アンケート）は数の裏付けによる説得力がある一方，規模が大きくなりがちなのでコスト面の問題あるのと，設問の仕方によって内容が変わる（誘導される）ことが懸念される。逆に小規模人数で深掘りをする定性調査は，コストパフォーマンスは良いが参加する個人の力量に内容が大きく左右されてしまうそうだ。


　さらに定性調査の手法も2種類に分かれている。さまざまなペルソナ（属性）を持ったモニターを集めてモデレータが進行しながら話を聞く「グループインタビュー」と，数名のプロのレビュワーを集めて議論を行い評価や改善点を見いだす「グループディスカッション」だ。このどちらかを利用する。


　ちなみに定量調査（アンケート）は，統計的には数百人程度のデータが欲しいが，過去の調査の母数は20〜50程度で，多くても100人ぐらいだそうだ。どうしてもコストの問題があるし，うまく実行すればこれぐらいの数でも十分に方向性は出せると語っていた。

それぞれの調査手法の押さえておきたいポイント

　続けて杉山氏はそれぞれの調査手法において，押さえておきたいポイントを語っていた。

　まず定量調査では調査対象者のペルソナ，つまり「誰に聞くか？」が重要となる。ゲームなら実際にプレイするような人たちを対象に調査をしなければ意味がないし，ポイントサイトなどを通じて報酬を対価にプレイヤーとアンケートを集めると，そもそもポイントだけが目的なので，まじめに書いてくれない人が増える可能性が高くなってしまう。


　また各ペルソナには一定の数が必要だが，例えば課金額とIPのファン度でマトリックスを作った場合，どうしても境界が曖昧な部分が出てくる。なので，場合によってはバッサリ中間を省くこともある。そもそもゲーム自体が，中華圏などでたまに見られるガチガチのPay to Winの収益モデルなら，ビジネスターゲットの重課金者のみをペルソナにするほうが正しい，とも触れていた。


　さらに定量調査では，設問や選択肢のクオリティが重要で，最初から誘導的だったり，解釈が分かれたりと基準が不明瞭な文章では正しい結論は導き出せない。そのため例えば選択肢は基準を明確にし，さらに評価をしっかり分けたい場合は（中間を作らない）偶数にすると良いと具体例を出していた。

　なお点数による評価は一見分かりやすいが，点数の付け方は人によって減点式だったり，ベースが中間点だったりと個人差が非常にあるので，この点にも気をつけたいとのこと。


　定性調査のグループインタビューは，モデレータ次第でうまく意見が引き出せるか決まる。そのためうまく言語化できない人の意見を論理的に再構築したり，想定問答以外でも必要に応じて意見を深掘りできるといった能力が必要になってくる。


　また事前の準備も非常に重要で，インタビューシナリオを用意しておく，テーマの重要度を考慮し必須のものとそうでないものを仕分ける，事前アンケートを取って深掘りできそうなポイントを押さえておく，といった作業をしておきたいそうだ。


　同じく定性調査となるグループディスカッションは，ゲームを評価する議論が主目的になる。そのため，ゲームのコンセプトやターゲットをきちんと踏まえる，最初から多様なユーザーを想定して多面的に考えるなど，事前にポイントを押さえてから議論を行うべきとした。


　なお，グループディスカッションでの課題（問題）へのアプローチは2種類ある。木を見て森を想像する……つまり気になる要素から全体への影響を考慮するスタンダードな手法と，逆の森を見て木を想像するような全体的な“ふわっ”とした評価や感覚から要因を探る，雰囲気や感情を優先する方法があるとのこと。


　同様に改善案へのアプローチは，こちらも定番の「課題から改善案を考える」手法と，逆の「要望から課題を掘り下げる」手があるのだという。後者の場合は，なぜそういった要望がそもそも出たのかを考えると，問題の原因が見えてくることもあるとのことだ。

ユーザーレビューで得られた調査結果を分析する

　最後にユーザーレビューで得られた結果を分析する際に，それぞれ気をつけたいことにも杉山氏は触れた。

　具体的には定量調査では数値などのデータを鵜呑みにせず，とくに母数が多くない場合は自由記入欄に書かれた情報も確認し，なぜそのような答えに至ったのか推察するのが重要なようだ。例として「敵が強すぎる」という回答があったとしても，きちんと見ていくと歯ごたえがあって良かった，という褒め言葉だったりすることもあるのだという。


　また「調査は後戻りできない」という点を強調しており，大事な項目を入れ忘れると取り返しがつかないので，定量調査は事前のアンケート設計が非常に重要だとまとめていた。

　一方の定性調査では，「評価すること自体が目的ではなく，評価によってより良いゲームになること」がキモだとまとめた。そのためには，きちんと総括（結論）を出すことや，例えば項目の評価がAならゲーム全体の魅力を大幅に高める要素であり，逆にEならゲームをやめてしまうほどの弱点であるなど，評価の軸に一貫性を持たせる。そして問題が大きい場合は，中途半端に“ヌルい”表現にして危機感が伝わらないような記述を避けるなど，複数の気をつけるべきポイントがあるとのことだ。


　締めとして杉山氏は，数年前ならA〜Eの5段階評価の中間（Cの可もなく不可もなく）の作品でもリリースして良い（合格点）という判断になったが，現在はすでに継続して遊んでいる競合に取って代わる必要があるので，それではとても太刀打ちできないと語った。そういったゲームは「最初はちょっと遊んでもらうことはできるが，結局元のゲームに戻ってしまう」という厳しい状況を訴えており，昨今のモバイルゲーム業界の激しい競争を改めて実感したセッションでもあった。

「CEDEC 2024」公式サイト

4Gamer「CEDEC 2024」記事一覧