結局は人間：ネイト・シルバーの数学革命が評論家を葬らない理由

編集部注：Matt Bakerは、ソフトウェアに基づくファイナンシャル・アドバイザー会社Wealthfrontのエンジニア。同社は財務に関する質の高いアドバイスの利用を民主化しようとしている。Twitterアカウントはこちら。

選挙でも財務でも、数学モデルは問題から感情的要素を取り除く。しかし、人間的要素は本当に消せるのだろうか。一部の人たちは、大統領選挙におけるネイト・シルバーの「勝利」によって政治評論家は死んだ、と結論を下した。同じような議論は投資の世界にもあり、本誌にもNick Shalekが「ありがたいことに、ソフトウェアは個人投資の世界を食いつつある」を書いている。

私が思うに彼らは誤った二分法に陥っている。シルバーは、数学モデルを用いることによってあの選挙を驚異的な精度で予測することができたし、アルゴリズムには人間投資家よりも優れたことをする能力がある、というShalekの意見は正しい。しかしその結果として必ずしも正しくないのは、人間的要素が不要になったという考えだ。

革命というより進化に似て、ネイト・シルバーは次世代評論家の象徴である。ソフトウェアが財務アドバイスの進化の象徴であるのと同じように。

アルゴリズムは、それまで不可能だった形で情報や洞察を与えてくれる画期的な道具だ。しかし、こうした道具を〈作った〉のが人間であることを忘れることはできない。われわれが作るモデルには、われわれ自身の仮定（もし注意を怠れば「偏見」）に基づいて情報が与えられる。人間的要素は消えていない。使う道具が良くなっただけだ。

研究結果の教えるところ

専門家たちの予想がいかにお粗末であるかを示す証拠は驚くほど多い。研究者のPhilip Tetlockは、著書『Expert Political Judgment: How good is it? How can we know?』［専門家の政治判断：その成績は？そこから何がわかるか？］で評論家284人が行った予想8万2361件を分析した。

研究の結論は何だったか？

もし専門家たちを最低水準の方法（素人、ダーツを投げるチンパンジー、その他さまざまな予測アルゴリズム等）と比較すると、専門家の知識が「精度の高い」あるいは「際だった」予測を導く兆候は殆ど見られなかった。

早い話が、専門家の予言はランダムと変わらない。しかもTetlockは、予想家の正確性とメディア露出の間には明確な相関があることを発見した。メディアがく参考にする専門家ほど、予想は不正確だった。

1980年代と90年代にThe Wall Street Journalは、Burton Malkielの著書『A Random Walk Down Wall Street』に触発されて、株式アナリスト対ダーツ投げの対決シリーズを実施した（Malkiel博士は最近、われわれWealthfrontに最高投資顧問として加わった）。マサチューセッツ大学のBing Liang教授はコンテストの何年にもわたるデータを分析し、最終的にこう結論を下した。「プロによる株の実績は、90%のコンテストにおいてダーツ投げと違いがみられなかった」。ここでも、専門家の価値は疑わしいことが立証された。

真実はと言えば、われわれが信頼する専門家たちも、偏見や感情的影響に弱い点であなたや私と変らない。Jim Cramerの人気投資番組「Mad Money」は、「買い」と「売り」の明確なアドバイスを視聴者に与えるべく、政治評論家が選挙結果を予測するのと同じ方法で株式市場を予測する。彼の主張とは裏腹に、Barronsによると、Cramerの実績はS&Pを下回っている。

同誌の発見によると、Cramerの選択は番組開始前に上昇あるいは下降傾向にある銘柄であることが多い。Cramerは、人気上昇中のスターの肩に乗り、売れない役者を見捨てることによって、人々に安値で売り高値で買わせるという深い罪を犯した。

なぜ専門家は大失敗するのか？

SECが米国議会図書館の委託で行った調査の結果、人々が犯す有害な投資判断の殆どは、その原因を感情バイアスに要約できることがわかった。われわれは株が好調の時に買い、下落するとうろたえて売りに走り、投資は分散する代わりによく知っているところに注ぎ込む。例を挙げればきりがない。誰もが、Cramerのような「専門家」であれ、一般市民の週末投資家であれ、こうした要因の餌食になり得る。

アルゴリズムによる投資ツールの推進派、例えばNick Shalekは、堅牢な数学に裏打ちされた財務モデルは、興奮を誘うような株価の上昇にも、恐怖の暴落にも誘惑されないと主張する。数学は、われわれを欠陥投資家や欠陥専門家へと導く感情やバイアスを取り除くのに役立つ。あなたも恐怖をどこかに置いて、代わりにアルゴリズムに任せよう。

しかし、そのアルゴリズムの根拠となる仮定は正しくなくてはならない。そして、これもまた感情に影響をうける可能性がある。

善玉、悪玉、偏見

ネイト・シルバーの538モデルが、今期の選挙で唯一の予測モデルだったわけではない。Votamatic.orgとPrinceton Election Consortiumのいずれも、正確に結果を予測した。Princetonモデルはむしろシルバーよりも成績がよかったとさえ言え、全50州〈および〉一般投票を的中させた。

しかし不発もあった。Dean Chambersの作った「偏りのない調査」モデルには、盛大な賛辞が送られた。Chambersのアプローチは、調査対象には民主党支持者が多い傾向があると彼が信じるバイアスを考慮し、調査結果を加重調整するものだった。Chambersは、投票に行く有権者は、民主党より共和党が多いと信じた。しかし、結果は当初の調査結果通り、民主党支持者が共和党支持者を圧倒した。ロムニーは敗れ、Chambersは選挙人得票を74票読み違えた。

Business Insiderのインタビューに答えて、Chambersは簡単に言った。「多くの人が予想したよりはるかに民主党が強かったということだろうが、あの予想、私の予想は、間違っていた」

あらゆる評論家と同じく、Chambersも自分自身のバイアスに影響されていた。基本的に誤っている仮定に基づいていれば、世界中の数学をもってしても彼のモデルを修正できない（Chamberだけではない。コロラド大学ボールダー校はロムニーが330票を取って勝つと予想していた）。彼の物語は、シルバーをべた褒めする記事の波に隠れてしまったが、これは訓戒的な話だ。数学は誤らないかもしれないが、それを使う人間は誤る。

専門家は死んだ、専門家万歳！

現在Tetlockは、『Expert Political Judgment: How good is it? How can we know?』で行った調査をさらに洗練させたものに取り組んでいる。今回は、モデル自身だけでなく「モデルを使った」専門家も調査対象に含めている。例えばネイト・シルバー。Tetlockに言われると、未来は「カスパロフ〈＋〉ディープブルー、であり、カスパロフ〈vs〉ディープブルー、ではない」。

数学モデルはデータを拠り所にしているが、データを生み出すのは人間だ。モデルは、厳しく吟味され、予想外の事象や誤った仮定に汚染されないよう、定期的に見直されるべきだ。ネイト・シルバーの謎めいた秘密の調味料は未だに不明であり、彼はモデルの特長の多くを公表しているものの、結局相互査読はされていない。透明性がなければ、統計モデルの作者がTetlockの研究に見られる評論家と同じ誤謬の餌食になる可能性はいっそう高まる。

モデルは道具である。政治や財務分野で得られるような大量データを圧縮し、処理することにかけて、その能力は人間をはるかに上回る。モデルはわれわれに情報を与え、さらには予測までしてくれるが、その力はモデルを作った人間の厳格さを越えられない。2012年11月6日は、データが評論家に勝利した日ではない。あれは、人間による予測の進化における重要な転換期だったのである。われわれは、ツールの革新と専門家の正確性を目の当たりにしているが、予測をするのは、これからもずっと、人間だ。

[原文へ]

（翻訳：Nob Takahashi）