黒夜行

志保はその会話だけで、相手の頭の良さを感じることが出来た。知識や学歴をひけらかす男の子はたくさんいたけれど、本物の知性というのはそこにはない。特別頭の良い人が好きというわけでもないけれど、喋っていて気分が昂揚するのは、やっぱり本当の意味で知性を持っている人だけだなと思う。
「そうかな。そんな大したことしてるつもりはないんだけれど」
「そんなことないでしょ。僕だってこれでもそこそこ合コンには出てるけどさ、あんな風に全体を仕切れる人って初めて見たかも」
　自分がどれだけ面白いかをアピールし、相手の表面的なところだけを拙い言葉で褒めちぎっているような男の子とはまったく違っていた。志保が力を入れている部分をしっかりと見抜いていて、そこを的確に褒めてくれているのだ。

「失踪シャベル　11-5」

内容に入ろうと思います。
本書は、「テラマイニング」や「定量分析」や「絶対計算」と呼ばれる。現在ありとあらゆるところで行われている統計的な分析について扱っている本です。これは、大量の情報をあるやり方で分析し、それによって様々な相関関係を見出したりする、と言うような感じです。本書では様々な具体例が扱われていますが、その年の気温や降水量からその年に生産されたブドウから出来たワインがどんな味になるのか予測したり、プロ野球のスカウトがどの選手が将来有望になりそうかを予測したりするのにさえ使われているようです。
絶対計算は、大きくわけて二つの手法があります。
一つは、過去のデータを分析するもの。こちらを回帰分析と呼びます。先程書いたワインや野球選手の例はこの回帰分析の話です。つまり、過去のワインや野球選手のデータを大量に分析し、そこから未来を予測する式を生み出すわけなんですね。例えばワインの質だとこんな式があるようです。

ワインの質＝12.145+0.00117×冬の降雨+0.0614×育成期平均気温-0.00386×収穫期降雨

また野球選手を評価するこんな式もあるようです。

貢献出走塁＝（ヒット数+四球数）×総塁数/（死球以外の打数席+四球数）

どうしてこんな式になるのかは、まあコンピュータがはじき出すわけでよく分からないんですけど（まあでもちゃんと勉強すれば分かるんでしょうけど）、とにかくこういう式を元になされた予測は、経験や勘を重視する専門家の予測よりも遥かにいい結果を残すんだそうです。
さて、絶対計算のもう一つの手法は、無作為実験と呼ばれるものです。これは過去のデータを分析するのではなくて、現在進行形のデータを得てそれを分析するという手法です。
例えば本書のタイトル（日本語版のタイトルではなくて英語版のタイトル）はこの無作為実験によって決められたんだそうです。
どうしたのかと言えば、グーグルアドワーズという広告を使ったのだ。「データマイニング」や「数値計算」といった言葉で検索する人の検索結果の脇に広告が出るわけですけど、そのタイトルを無作為に以下の二つに変えるわけです。
「The End of Intuition（直感の終わり）」
「Super Crunchers（絶対計算者たち）」
その結果、後者の方が多くクリックされたという結果になったわけで、それでタイトルが決められたそうです。
無作為実験というのは、ほとんどどんな場合でも出来ます。現在はインターネットが発達したお陰で無作為実験をものすごく簡単にやりやすくなったわけですけど、現実の世界でも無作為実験は行われています。
例えばある航空会社が行った実験。フライトの大幅の遅延やキャンセルなど、航空会社が「輸送上の事象」と呼ぶトラブルに巻き込まれたお客さんを無作為に三つのグループに分けて、その後八ヶ月に渡り、一つのグループは正式なお詫びの手紙を受け取る。二つ目のグループはお詫び状に加えてその航空会社のプレジデントクラブへのお試し入会期間が与えられた。そして第三のグループは比較の基準として、何も受け取らない。
こういう実験をして、ただのお詫び状だけでも効果があるばかりか、翌年その航空会社に使うお金が増えるという結果が出た。こんな風にして、ありとあらゆる会社が無作為実験を行っている。
無作為実験を行っているのは企業だけではない。むしろ政府の方が積極的なのだという。これは、MITの経済学部院生だった学生が、負の所得税（NIT）について政府からの研究費を受けて無作為抽出テストをやったことがきっかけだったようだ。NITというのは、所得が一定額以下になったら政府がお金をくれる制度だ。学生はこのNITが働く意欲を下げるかどうかの実験をしたのだが、結果は必ずしもそうではない、という結果になった。しかし全く予想外のこととして、NITを与えられた家庭は離婚率が以上に高かったのだという。無作為実験にしても回帰分析にしてもそうだけど、まるで関係ないと思われていた事柄に相関を見つけ出すというのに実に役に立つ。以後、制作や選挙など、あらゆる場面でこの無作為実験が行われるようになっているという。
無作為実験の肝は、その実験の母体数だ。無作為に分けられたいくつかのグループは、厳密には同じではない。いろんな人がいるだろうし、価値観も人種も性別もいろいろと様々な人がいる。でも、母体数が大きくなれば大きくなるほど、その個々人の差は平均化されていく。母体数が多ければ多いほど、いくつかのグループ間に現れた差は、そのグループに対して行ったこと（あるいは行わなかったこと）が原因であると言うことが出来る、ということだ。
本書では、この回帰分析と無作為実験について、これまで具体的にどんなことが行われてきたのか、そしてそれらはどれぐらい成功を収めているのか、ということが語られる一方で、絶対計算に駆逐されまいとして経験や勘にしがみつく専門家集団との軋轢や（これは特に、医者との対立という形で一章丸々描かれる）、絶対計算も決して万能ではないという事例なども含め、絶対計算を取り巻く現在を描いている作品です。
なかなか面白い作品でした。雰囲気としては、ちょっと前に読んだ「たまたま」という作品に近いものがありますけど、「たまたま」がどちらかと言えば学問よりだったのに対して、本書はどちらかと言えば僕らの日常的な具体例がたくさん書かれている作品で、より身近な話題だなと思いました。
しかし本書を読むと、『専門家』と呼ばれる人々をあまり信用してはいけないな、という気分になることでしょう。まあ僕は別に元々信頼してはいないんですけどね。医者の言ってることには間違いがあるだろうと思ってるし（とは言え、医者以上の知識を僕が持っているわけもなく、だから間違っている可能性があると感じつつ医者の言うことを聞くしかないんですけどね）、最近はテレビはほとんど見ませんがテレビで政治がどうたら経済がどうたらみたいなことを言っている人もあんまり信じてないし（例えば選挙とかがあるとテレビでいろいろ予想したりするけど、そういう人たちは外れたとしても別に弁明したりするわけではないんですよね）、さらにスピリチュアルがどうの前世がどうのなんていう超がつく胡散臭い『専門家』なんかについてはアホじゃないかと思っています。
しかし本書の素晴らしいのは、そういう『専門家』の経験や勘が間違っているのだということが多くの事例で示されてきた、ということです。
例えば本書では結構長い紙幅を割いて医療について書いているんですけど、その中で、これまで信じられていた以下のような事柄は、実際は絶対計算によって間違っていることが証明されているんだそうです。

・ビタミン B12障害では錠剤は効かないから注射で治療しなくてはならない
・眼帯を使うと角膜に炎症を起こした患者の快適さと治癒は改善する
・急激な腹痛を起こしている患者にアヘン系の鎮痛剤を与えると、腹膜炎の兆候や症状が隠れてしまうので望ましくない

しかし今でも医者は、上記のような事柄を信じて実行しているのだそうです。絶対計算によってまちがっているということが証明されているにも関わらず（まあそれを医者自身が知っているかどうかは分かりませんけど）、医者はそう教わったからそれまでそうやってきたからというだけの理由で、自分のやり方を変えないんですね。
かつてはもっと深刻なことがありました。1840年、オーストリアの医者が、検死解剖室を出てきたばかりの医師見習いが診察した女性は死亡率が高いということに気がついた。そこで診療所の医師や看護負が患者を診る前に塩素入り石灰水で手を洗えば、死亡率は12パーセントから2パーセントに下がることを発見したわけです。この結果はやがて、病気に原因が細菌によるものだという理論になるわけなんですけど、でも当初多くの医者は、何故手を洗うと死亡率が下がるのか分からないと言ってバカにして猛反発し、結局それを主張した医者はクビになってしまったようです。現在では手を洗う事の重要さは医者は理解しているでしょうけど、でもそれと同じような状況が現在でも多々あるということです。
またこんな実験もあったようです。法律の専門家と絶対計算者がそれぞれ、ある年の最高裁判所の裁判結果を予測したんだそうです。法律の専門家の方は専門家83人を集めて総合的に結果を予測した。一方で絶対計算者たちは、次のような6つの要素だけを考慮してモデルを作ったようです。
「その判事の出身巡回法廷」「その裁判の争点領域」「原告の種類」「被告の種類」「下級法廷判決のイデオロギー的な方向性」「被告がその法律や判決を違憲だと主張しているかどうか」
結果、絶対計算者たちの方が専門家集団よりも正しい予測をしたんだそうです。
この絶対計算は、ありとあらゆる場面に浸透していて、今では映画産業にまで介入しているらしんです。
エパゴギクス社という会社は、映画の脚本に対して絶対計算を施して、その脚本がどれぐらいの収益を生み出しそうか判断出来るシステムを作ったんだそうです。そのシステムは、監督や俳優などの要素は一切なく、脚本のみによって興行収入を予測するんだそうです。エパゴギクス社は映画産業全体では実に嫌われている存在ですが、でもエパゴギクス社のやり方が成功していけば（そして実際映画産業への口出しが出来るほどの影響力を持ち始めているようなんですけど）、映画の脚本さえも絶対計算によって生み出されたり修正されたりされてしまうということになります。なんというか、それはちょっとなぁとか思ってしまいますよね。でも、その方がより収益を上げることが出来るというのなら、映画産業も無視出来なくなることでしょう。
絶対計算はプライバシーという概念さえも変えてしまうんですね。プライバシーというのは基本的に、現在と過去の情報についてのものでした。しかし現在では、絶対計算によって未来の情報さえ知ることが出来る。現在と過去の情報さえあれば、未来の情報さえ知られてしまうのだ。実際に、クレジットカードの使用履歴から、その人が離婚しやすいかどうか、なんていう情報が分かったりするみたいです。これからもっと絶対計算の影響力が大きくなるだろうけど、そうなると一方で、「データマイニングなし」をうたう製品が出てきたりと、いろいろな状況がやってくるだろうと書いています。
さて最後に。この絶対計算の話は、確率や認知なんかにも関わってくる話で、本書でそういう部分に触れているもので面白い話をいくつか抜き出して終わろうと思います。
まず集合的な予測は、その集団の中の個人による最高の予測を上回る精度を発揮するという話。例えば、びんに一円玉を詰めて、中にいくら入っているか一番近い予測をした人に100ドルの賞金を出すという実験をしたとする。この場合、集団の知恵は全員の予測値の平均を計算すれば出る。そしてこの平均値は、個々の予測値のどれよりも実際の値に近いことが多いんだそうです。集団の予測こそが真実に近い可能性がもっとも高い、というのは面白い話だなと。
人間は予測が苦手な生き物ですけど、それは認知的な欠陥や偏りがあるからです。例えば、家に銃があると子供に危険だと思っている人は多いだろうけど、でも統計的には以下のようなことが言えるんだそうです。
「平均的に見ると、銃を持っていて裏庭にプールがある家では、子供はプールで死ぬ確率のほうが100倍近く高い」
なるほど、確かにそうかもしれないな、と思います。そういう、本当に重要なポイントを無視して細部に騒ぐ（麻生総理が漢字が読めないと言って騒いだりする）のは、どこの国も同じなのかもしれません。
最後に確率の問題。これは「たまたま」の方でもまったく同じ問題が出てきたんですけど、やっぱり難しいです。

40歳の女性のうち、定期的な検査を受ける人の1％は乳がんに掛かっている。乳がん女性の80％は、マンモグラフィで陽性を示します。乳がんなしの女性10％も、マンモグラフィで陽性を示します。さて、この年齢グループに属するある女性が、定期検診のマンモグラフィで陽性となりました。この人が本当に乳がんである確率はいくつ？

これを医者に出すと、ほとんどの医者が75％ぐらいと答えるんだそうです。まあ感覚的にはやっぱりそんな感じがしますよね。
正解はこうです。
具体的に数字で考えてみましょう。乳がん検査を受ける女性が1000人いるとして、そのうち10人が乳がん女性です（確率が1％ですからね）。その10人のウチ、マンモグラフィで陽性になるのが8人です。一方乳がんではない女性990人のうち、マンモグラフィで偽陽性を示す女性が99人います。
つまり、マンモグラフィで陽性と出た女性107人のうち、実際に乳がんであるのは8人だから、確率は7.5パーセントぐらいだそうです。医師の予想の10分の1ですね。確率の問題は実に難しいですけど、こういうことを知っておくというのは大事かもしれませんね。
というわけで、いろいろと日常的な事柄がたくさん書かれていて面白いです。自分も知らないウチに無作為実験に巻き込まれているんだろうな、と思うとなんか嫌な感じがしますね。特に最近インターネットで無料のサービスがたくさんありますけど、ああいうのはこちらの情報をそういう形で得て、それを絶対計算に使ってるんだろうな、と思います。消費者として賢く振舞うためにも、本書に書かれているような知識はどこか頭の片隅にでも持っておいた方がいいのかもしれません。是非読んでみてください。

イアン・エアーズ「その数字が戦略を決める」