「楽しさ」をデータで測る 〜チームバトルの場合〜

はじめまして。アナリティクスデベロップメントGrpのnonashoです。

@dnogami_denaさんから紹介され、初めて記事を書きます。
よろしくお願い致します。

この記事では、「データに振り回されて失敗したあんなことやこんなこと、質疑応答編」で予告させていただいたチームバトル型イベント分析のあれこれについて、私から紹介させていただきます。

また、質疑応答編で取り上げた質問「頑張って楽しいときも、負担が大きくて疲れるときも、バトルの数字は似てしまいそうですが、どうやって感情を読み解くのですか?」に対する私なりの答えも書いてみました。

 

■チームバトルにおけるKPIとは

 チームバトル型イベントの一般的なKPIを大きく分類すると、

  • ユーザ数(イベントエントリーユーザ数、イベント参加ユーザー数など)
  • アクティビティ(バトル回数、投入エネルギー量など)
  • アイテム消費(各種アイテム使用UU・使用量・一人当たり使用量)

などに分類されます。

これらは、イベントの面白さの結果指標でもありますし、売上の変化を説明することも出来る指標でもあります。実際、これらのKPIだけでも何らかの施策に繋げることは可能です。

しかし、ユーザに楽しい体験を提供できる、より適切な施策に繋がる分析にするためには、結果指標であるこれらのKPI変化の"理由"(バトルの様子やユーザの気持ち)を明らかにする必要があります。

そこで、弊社でよく使用する「接戦度」と「チーム内格差」という二つのKPIを紹介させていただきます。これらのKPIはさほど難しいものではありませんが、それぞれ見方を工夫したり、組み合わせて使用すれば、チームバトルとしての「楽しさ」を測ることが可能になる場合があります。

また、それとは別に、長期にわたってチームバトル型イベントを運営していくために、定常的に確認しておきたいKPIも紹介させていただきます。

 

■チームバトルのKPIその1:接戦度

チームバトル型イベントの「楽しさ」を測る指標として、「接戦度」が挙げられます。

チームバトル型イベントが「楽しい」のは「チームみんなで協力して熱いバトルをしたとき」ですよね?

その中でも、「協力して接戦を制したとき」の楽しさは格別です。ですので、接戦度は「熱いバトル」だったかどうかを測るための代表的な指標です。

私たちは、それぞれのチームマッチングについて、以下のように接戦度を定義し、その分布等を確認しています。

接戦度 = 負けチームの獲得ポイント / 勝ちチームの獲得ポイント

接戦度が1に近い程、争い合っているチームが同程度のポイントを獲得しており、お互いに「差をつけてやろう」、「追い越されないようにしよう」という感情を喚起できていることが予想できます。

【分析を進めやすくするテクニック その1
分子・分母にくるチームをそれぞれ固定してしまうと、勝っているチームが分子にきた場合に接戦度が1を超えてしまい、場合によっては接戦度の幅が大きくなってしまいます。
常に勝っているチームを分母とすれば、接戦度の幅が
01に固定され、見やすくなります。

勝敗が決まった瞬間だけを切り取って接戦度をみてしまうと、ユーザーが1バトルの中でどのような体験をしたのかまでを把握できません。また、起こっていた問題を見逃してしまう可能性もあります。

図に示すように、1バトルの開始〜終了までをとって各マッチングの接戦度が時系列でどう変化したかを表せば、「熱いバトル」がずっと続いていたのか、報酬を得るためだけに一瞬だけ発生した状態なのか等を知ることができます。

1試合中の接戦度分布の変化.png

接戦度一つとっても、1バトル内を細かくみたり、バトルごとにどう推移を確認したりと、そのとき検証したい仮説に合わせて様々な切り口を設定できます。

切り口を変えることで、それぞれ以下のような示唆に繋がる可能性があります。

  • 最初から接戦度が低く、1バトル終了まで変化がない場合、実力差の大きいチーム同士がマッチングされた可能性がある。対戦相手の選び方に改善の余地があるかもしれない。

  • バトルを経るごとに接戦度が低くなっていく場合は、ユーザーが徐々に疲れている可能性がある。疲れにより最終的にイベントを離脱するかもしれないので、前半・後半でバトルを区切るなど、途中で達成感を与える区切りを設けてもよいかもしれない。

このように、接戦度の変化と売上に繋がる指標(回復剤消費量・イベント参加UU)の変化を結びつけることで、体感や面白さを考慮して、基本的なKPIの変化の理由を把握することができます。

 

■チームバトルのKPIその2:チーム内格差

接戦度と合わせて使いたい指標が「チーム内格差」です。

チームバトルでは同じチームのメンバーが協力して戦うことも、「楽しさ」の要素です。どの程度ユーザー同士が協力したか、特定のユーザーに負担がかかっていなかったかを知るためのKPIが「チーム内格差」となります。

あるチームの行動量がメンバーn人中m人によってどれ程占められたかをみることで、チーム内格差を確認できます。

【分析を進めやすくするテクニック その2
チーム内のメンバーには元々の強さ(もっているカードのステータス等)に差があるため、単純に稼いだポイントという結果指標ではチーム内格差を正しく測れない場合もあります。
この場合は、「攻撃した回数」あるいは、「攻撃に費やした回復剤量」等のユーザーの強さによらない量を用いることによって、ステータス差の影響を排除したユーザー間の熱意の格差を定量化することができます。

 

■接戦度とチーム内格差の使い方

接戦度とチーム内格差は単体でも様々なチームバトル型イベントの課題解決の糸口とすることができますが、組み合わせればさらに役に立ちます。

例えば、チーム内格差がなく、接戦度が高いチームマッチングが多い場合は、理想的な状態に近いかもしれません。

この状態では、熱いバトルが続いており、かつ特定のユーザーに負荷が集まっている・活躍できていない等の状況は起こっておらず、「全員で協力して熱いバトルする」というチームバトルの根幹の面白さが実現されていると判断できます。

それぞれどれ程を「良い」とするのかはタイトルやそのときのイベントルールによって異なります。体感等から適当な値が定まらない場合は、イベント・バトル毎にこの指標が改善されていくかを確認することから始めてみるとよいかと思います。

 

■接戦度とチーム内格差を組み合わせることで、ユーザの感情を読み解く

 この2つの指標を組み合わせることによって、

「頑張って楽しいときも、負担が大きくて疲れるときも、バトルの数字は似てしまいそうですが、どうやって感情を読み解くのですか?」(※1)

といった問題にも、データだけでも正解に近い答えを得られる場合があります。

例えば、接戦度は高い(=バトルは盛り上がっているものの)ものの、チーム内格差が広がっている場合は以下のような仮説が得られます。

  • 強過ぎる対戦相手とのマッチングによりユーザーが疲れ、アクティビティ量を減らし、離脱し始めている。残ったユーザーへの負担が増大することで、さらに参加ユーザーが減る可能性がある。連続して強い対戦相手をマッチングさせない等の施策により、ユーザーが楽しめる範囲のアクティビティ量にコントロールすべきではないだろうか。

  • 元々ステータスの高いヘビーユーザーのみが活躍してしまい、ステータスでは劣るライトユーザーがモチベーションを失い、離脱しかけている可能性がある。ライトユーザーでも活躍できる仕組みを導入し、「みんなで協力している」状態をつくるべきでないだろうか。

ここではデータから仮説を出す流れになっていますが、逆にこれらの仮説を検証するために、接戦度とチーム内格差を利用することもできます。

断片的な情報から精密な答えを得るには複雑な統計的手法が必要になることもあります。

しかし、簡単なKPIでも正しいロジックで組み合わせれば、データからは検証しづらい「楽しさは維持されているか」といった疑問に対して、工数・時間を掛けずに、次の施策の意思決定を行うのに十分な解を得ることができます。

 

余談ですが、ソーシャルゲームの分析を行っていると、このようにしていくつかのKPIをつかって、パズルが解けたように一つの施策提案まで繋がるストーリーを発見できることがあります。それがチームメンバーに納得してもらい、実際に実装されることになるのが、ソーシャルゲームの運営に分析担当として関わっていて、一番うれしい瞬間です。

 

■長く続くイベントにするためにこっそりチェックしておきたいKPI

接戦度もチーム内格差も、以下のような場合にはKPIとして機能しなくなる場合があります。

  • チームバトルの結果によって報酬が決まるイベントで、ユーザーが報酬を得ることだけを目的として、不公平を生みうる手段を取ってしまう場合。例えば、敵チームと交渉して勝敗を事前に決めてしまう(八百長)行為や、1人で複数のアカウントをコントロールし、大量にアイテム等を投入する行為等が発生している可能性がある

  • チームバトルの報酬は魅力的だが、バトル自体は楽しくない場合に、意図せずともお互いにアクティビティ量を減らして争う組み合わせが発生してしまう可能性がある

これらの現象は接戦度やチーム内格差だけでは検知しづらいものです。

ユーザーのチームバトル型イベントでのアクティビティ量と排出した報酬量のバランス、またゲーム内の不自然なアイテムトレードや「ゲーム・アプリを、長い間楽しめるものにするために意識した方がよい数字たち」であったDAUの構造分解を継続的にチェックする体制を整えることで、ある程度は現象を把握・予測することができるかと思います。

■最後に

1イベント内の細かな分析に関して、私が普段どういったことを行っているかを紹介させて頂きました。チームバトル型イベントの運営方法に加えて、KPIの見方・切り口を変えるだけで得られる示唆の幅が広がることや、「楽しさ」を簡単なKPIから数値化する過程等、皆様の業務で何か参考にできる点があれば幸いです。

また、「ゲーム・アプリを、長い間楽しめるものにするために意識した方がよい数字たち」と合わせてみて頂く事で、ソーシャルゲームの運用時にどのような分析を行っているかの参考にして頂ければ幸いです。

長文に最後までおつきあい頂きありがとうございました。

次回はみなさんお待ちかねのガチャのマネタイズについて、パートナー様をサポートしているコンサルタントKよりご紹介させていただきます。