ビッグデータの正体 情報の産業革命が世界のすべてを変える
ビクター・マイヤー=ショーンベルガー、ケネス・クキエ(著)、斎藤 栄一郎(翻訳)
出版社:講談社(2013/5/21)
Amazon.co.jp：ビッグデータの正体

2013年最大のキーワード「ビッグデータ」を初めて本格的に論じたベストセラー
待望の翻訳!!

我々の未来の生活、仕事、意識、すべてが「ビッグデータ」によって大きく変わる。

本書は、ビッグデータ分野では著名な二人が、産業や政治、犯罪捜査、さらに民主主義に至るまで、いかにビッグデータが世界を変えていくかを解説した一冊です。

• ・オックスフォード・インターネット研究所教授であり、ビッグデータ分野の世界的第一人者と知られているビクター・マイヤー=ショーンベルガー氏
• ・英『エコノミスト』誌のディレクターで、一般読者向けとしては初めてビックデータ関連記事ろ掲載したケネス・クキエ氏

最近、IT業界を中心に「ビッグデータ」という言葉がよく聞かれますが、そこにはITを使って「いかに大量のデータを収集し集計（解析）する」というIT技術論や商売ネタ的な要素が強いように感じます。

しかし本書は、利用者や生活者の視点から、ビッグデータそのもの、ビッグデータ時代における社会の変化、そして対応策が提案されています。

ビックデータ時代では、

• ・企業は、いかに新たな価値を生み出すことができるのか
• ・人々は、物事の認知のあり方をどのように変える必要があるのか

さらに、ビックデータによる経済効果の追求だけではなく、そこに潜んでいるマイナス面（リスク）を考察し、それに対する社会的ルールも提案されています。

そして、人々の幸福や弱者保護などの視点から、「アルゴリズミスト」育成の重要性も示唆しています。

現時点でビッグデータの捉え方は、次のようにまとめることができる。

「小規模ではなしえないことを大きな規模で実行し、新たな知の抽出や価値の創出によって、市場、組織、さらには市民と政府の関係などを変えること」

ただし、これは始まりにすぎない。
ビッグデータの時代には、暮らし方から世界との付き合い方まで問われることになる。特に顕著なのは、相関関係が単純になる結果、社会が因果関係を求めなくなる点だ。「結論」さえわかれば、「理由」はいらないのである。

本書は、大きく以下で構成されています。

第1章～第4章では、

• ・ビッグデータについて、そして情報分析のあり方が変わってきていることについて解説されています。
• ・これまでの標本に頼るスモールデータ時代に対し、膨大なデータ処理が可能となったビッグデータ時代は、どのように変化していくのかを多くの事例を紹介しながら解き明かしています。

第5章～第7章では、

• ・全てがデータ化され、そのデータを利用する企業のビジネスモデルの変化について解説されています。
• ・ハードからソフトへの価値がシフトした20世紀に対し、蓄積されたデータと分析手法が新しい価値の源泉になることを予測しています。

第8章では、

• ・ビッグデータのマイナス面（リスク）が考察されます。
• ・ビックデータとなると、意思決定が人間ではなく機会に任されていく可能性があり、個人の尊厳を守る新たなルールが必要となることを提言しています。

そして、
第9章ではビッグデータ時代のガバナンスのあり方が提唱され、第10章で本書の全体がまとめられています。

「スモールデータ」時代と「ビッグデータ」時代

情報量が少ない「スモールデータ」時代

標本抽出は、情報処理に制約があった時代の産物である。

標本抽出は、「小」から「大」を生み出そうという発想で、最小限のデータから最大限の知見を引っ張り出そうとするのである。

不正確な情報がデータに入りこまないように細心の注意を配ることが必要であった。

「ビッグデータ」時代

例外を取り除く作業はムダな努力にすぎない。

母数が大きければ大きいほど、例外的なケースが統計上は自動的に排除されていくため、「企業は細かいことは気にせずに、より多くのデータを集めるべきだ」としています。

因果関係よりも相関関係

ビッグデータの時代には、精度と同様に重要性が薄まってきたのが「なぜ」という理由探しである。

保有しているデータの因果関係を追究しても「企業としては労力のムダになる可能性が高い」

理由探しには走らず、相関関係をありのままに受けとめたほうがいい。

データの精度よりも即時性が大きな力を発揮

例えば、インフルエンザの流行を予測するのに、グーグルはほぼリアルタイムに集計できたのに対し、米政府の衛生当局は収集に2週間かかった。

グーグルは、人々がインフルエンザに関心を持つ時、「せきの薬」「解熱剤」といったキーワードで検索すると推測して、検索動向から数式モデルで予測したインフルエンザ発生数を生み出した。
その結果を衛生当局が実際に収集した発症例と比較しすると、高い相関関係があったそうです。

衛生当局のデータは、細菌分析などを経た正確な情報ですが、それは規模が小さく普遍化するのは難しい。
一方グーグルの情報は、検索した人がなぜ「せきの薬」を検索したのかすら分からないような情報ではありますが、規模が大きければ正確な未来を予測するのに役立つということの一例です。

さらに、他の事例も紹介されています。

• ・アマゾンの推薦システムは、前提となる理由など知らないまま、興味深い相関関係を引き出してくれる。

• ・ウォルマートは、大量のデータと優れたツールを使って、気候の変化に応じて素早く店頭の陳列を変えて売り上げ増大につなげている。

• ・米国大手ディスカウントストアのターゲット社は、相関が高い商品20種余りの購入状況を基に顧客の妊娠を予想し、妊娠の各段階に関連するクーポンを送付している。

ビッグデータ「3つの大変化」

第1の変化：ビッグデータは限りなく全てのデータを扱う

従来は、数が膨大になる場合は、そこから抜き出した標本に頼るしかなかった。

高性能なデジタル技術が普及した現在は、全てのデータを使うことができ、精度も高い。

第2の変化：量さえあれば精度は重要ではない

従来とは比べ物にならないほどの膨大なデータを扱うので、「もっと厳密に」という切迫感も薄れる。

測ったり数えたりする能力に制約があった時代は、一番大切な数値だけを優先してしまっていたが、スケールが大きくなると精度へのこだわりは薄れる。

第3の変化：因果関係ではなく相関関係が重要になる

元来、因果関係「原因と結果」を求める傾向はあるが、重要なのは「理由」ではなく「結論」である。

相関関係は正確な「理由」を教えてくれないが、ある現象が見られるという「事実」を気付かせてくれる。

「ビックデータ」時代のリスク

ビッグデータによって人々の生活は細かく監視されるため、法的なプライバシー保護手段では時代遅れになりかねない。
また、技術的な手法で匿名性を確保したつもりでも、情報が漏れかねない。

個人に関するビッグデータ予測は、実際の行為ではなく、傾向や習慣で罰する道具に使われる恐れもあり、そうなれば自由意志は拒否され、人間の尊厳も破壊される。

3つのリスク：プライバシー、傾向・習慣、データ独裁のリスク

ビッグデータは、インターネット時代のプライバシーへの脅威に拍車をかける。
「規模の変化」は「状態の変化」につながり、プライバシー保護がきわめて困難になる。

リスクの性格そのものが変容している。
ビッグデータによって、情報の価値は二次利用の価値も加わり、当初の目的だけで終わらない。

これまでのプライバシー保護の限界

従来のプライバシー対策は、「個別の告知と同意」「データ利用拒否を本人が通告できる制度（オプトアウト）」「匿名化」であったが、ビッグデータ時代は効果は大幅に薄れてしまう。

最先端の捜査では、人間は「交友関係」「オンラインのやり取り」「コンテンツとの関係性」の総体という発想から始まっている。
そうなると、個人に関わる情報を集めると、犯罪に手を染めそうな人間探し（予測）もできる。

「確率による制裁」
まだ起こってもいない行為の責任を取らされたり、制裁を加えたりする道具にビッグデータ予測を使われる危険もある。

ビッグデータ時代の新たなルール

「利用者責任制」のプライバシー保護

ビッグデータ時代は、ユーザー自らの行為について責任を自覚すると同時に、正義とは何かを社会全体で考え直し、行動の自由を保護する必要がある。

企業は、個人情報を長期間利用できるという権利を得る代わりに、データ利用に責任を負い、一定期限後には個人情報を消去するように義務付ける。

現行のプライバシー保護では、当初の目的に沿って個人情報を利用した後は情報の削除が義務付けられているが、二次利用の場合も責任をデータ利用者に負わせる。

実際の行動に責任を負う、予測に人間が関与する

習慣や性格などではなく、自らが為した行為（実際の行動）にしか責任を負えないし、負うべきではない。

ビッグデータ時代には、正義の解釈を広げ、人間の関与を確保する手段も含める。
そうすれば、ビッグデータ分析だけでなく、確実に実際の行動に基づいて言動が判断される。

安全措置

• ・透明性
  予測の基になったデータとアルゴリズムを公開する。

• ・認定制度
  慎重な扱いが必要な特定の用途については、健全性や有効性を専門の第三者機関の認定を受ける。

• ・反証の余地
  予測について、反証できる具体的な方法を用意する。

「アルゴリズミスト」の配置

ビッグデータ予測とその背後にあるアルゴリズムやデータは、ブラックボックス化する危険があるため、責任の所在も不明確になるし、さかのぼって調べることができない。

ビッグデータの監視と透明化のための専門知識や制度が必要である。

2種類のアルゴリズミスト

• ・外部のアルゴリズミスト
  公的機関の求めに応じて、ビッグデータ予測の正確性や有効性を公平な監査役の立場からチェックする。

• ・社内のアルゴリズミスト
  社内の内部に席を置き、社内のビッグデータ関連業務を監視する。

人間は、以外に”データの独裁”に支配されやすい。

明らかに何か変だなと疑うべき状況でも、よく考えずに分析結果を鵜呑みにしてしまう。あるいは、データのためのデータづくりになってしまい、取りつかれたように数字集めにのめり込むこともある。

データを過大評価して真実の根拠と思い込むのも問題だ。

米調査会社IDCによると、

• ・人類はITの発達で膨大なデータを収集することが可能となり、

• ・全世界のデータ量は、2012年が2.8ゼタ（１兆の10億倍）バイトだったのに対し、20年は14倍の40ゼタバイトに膨らむ見通しとしています。

かつてコンピュータが出現した時も、「データ処理の高速化に対して、人間がコントロールできるのか」という議論もありましたが、その後の技術革新などで業務処理の効率化と戦略的な情報活用を実現してきました。

そして現代も今後も、新たな技術やツールを開発して、大量のデータを収集し、そこから情報を探したり解析していくことと思います。

ビッグデータの時代とは、これまでのように大量のデータに埋もれるのではなく、データを使いこなす「進化した段階」に進んだことを意味しているのではないでしょうか。

その気になれば、多くのデータを集め、つなぎ合わせたり二次利用することで情報を得ることができます。

しかし、そこには機械任せにできる部分と、人間が介入して判断しなければならない部分があると考えています。

本書で指摘しているように、「十分に謙虚な姿勢と人間性」を忘れてはならないと思います。

参考

スゴ本の広場（現代ビジネス、講談社）

『ビッグデータの正体?情報の産業革命が世界のすべてを変える』

～第1章「世界を変えるビッグデータ」より一部抜粋～

～第２章 第1の変化「すべてのデータを扱う」より～

ビッグデータの正体 情報の産業革命が世界のすべてを変える
ビクター・マイヤー=ショーンベルガー、ケネス・クキエ(著)、斎藤 栄一郎(翻訳)
出版社:講談社(2013/5/21)
Amazon.co.jp：ビッグデータの正体