Schultz, W., Dayan, P., Montague, P. R. (1997). A neural substrate of prediction and reward. Science, 275, 1593–1599.
ドーパミンニューロンの反応は、報酬そのものではなく「報酬の予測誤差」(予想より良い/悪い)を表しているように見えます。予想どおりの報酬には反応が小さくなり、予想した報酬がないと反応が下がります。 ゲームでは:δ = r − V(r はもらった報酬、V は予想)。V は V ← V + α·δ(α = 0.12)で少しずつ更新します。ふつうの青い光の粒「ドーパミン小胞」(r = 1)は、くりかえすと δ が小さくなります。8% の確率で混ざる金の粒「ドーパミン・バースト」(予想外の一斉発火。r = 5、拾うまで色は分かりません)は大きなプラス。拾った瞬間、近くのニューロンが波のように光ります。右上の小さなグラフが δ の時間変化で、大きいときだけ「δ +4.1!」と表示します。 ボス「受容体の慣れ(ダウンレギュレーション)」は、この考え方とのつながりを演出したものです。同じ刺激がつづくと反応が小さくなっていくように、同じ武器で攻撃しつづけるとダメージが減っていきます(最大 60% ダウン。使うのをやめるとゆっくりもどる)。
2. 不確実さ(ボスのシナプス小胞のカプセル)
Fiorillo, C. D., Tobler, P. N., Schultz, W. (2003). Discrete coding of reward probability and uncertainty by dopamine neurons. Science, 299, 1898–1902.
報酬の確率に応じた反応とは別に、不確実さに比例して、報酬の時刻に向けてじわじわ高まる反応が見つかりました。不確実さは、確率 50% のときにいちばん大きくなります。 ゲームでは:ボスを倒すと、25%・50%・75% の表示つきの「シナプス小胞のカプセル」が落ちます。開けるまでの約2秒の「ため」で、光と音が p(1−p) に比例してじわじわ高まります(50% が最大)。当たりは強化3つ、はずれはジェムが少しだけ。確率は表示どおりです。
3. ニアミスと自分の操作(リロール・ルーレット)
Clark, L., Lawrence, A. J., Astley-Jones, F., Gray, N. (2009). Gambling near-misses enhance motivation to gamble and recruit win-related brain circuitry. Neuron, 61, 481–490.
ニアミス(惜しいハズレ)は、不快に感じられるのに続けたい気持ちを高め、勝ちに関わる脳の領域(腹側線条体など)を活動させました。この効果は、本人が操作に関わったときに出ました。 ゲームでは:レベルアップのとき、オプションでルーレットを自分で止められます。当たりならカードの引き直し(全部 +2 レベルの強化カード)。当たりの扇形のすぐ隣に止まったときだけ「ニアミス!」と出します。扇形の面積が、そのまま当たりの確率です。
4. ビデオゲームとドーパミン(ゲームのループ)
Koepp, M. J., Gunn, R. N., Lawrence, A. D., et al. (1998). Evidence for striatal dopamine release during a video game. Nature, 393, 266–268.
PET という方法の研究です。戦車を操作して旗を集めるビデオゲーム(金銭報酬つき)をしている間に、線条体でドーパミンが放出されたことを示す証拠が得られました。成績とも関係していました。 ゲームでは:この研究へのオマージュとして、動き回って集める遊びを土台にしました。撃破・ドーパミン小胞・レベルなど、成績に結びついたごほうびが、たえず手に入るループです。