ビッグデータ分析とアルゴリズムの限界

ビジネスモデル

最近、小生が関わっているプロジェクトで、ビッグデータ分析をどう使うかというテーマに頻繁に出会う。パソコンやスマートフォンによって、個人の行動がネット上に逐一記録されるデジタル化社会。膨大な個人情報から一定のパターンを読み取り、行動を予測する研究が各方面で進んでいるからだ。

例えば犯罪予防や医療の現場などで、“ビッグデータ”をコンピューターで解析して未来を予想しようという研究や実証実験が今、世界で動いており、その成果がさらに別のところで活かされている。

7月31日(金)に再放送されたBS世界のドキュメンタリーは「未来予測図~ビッグデータが読み解く世界~」(原題:Mapping the Future The Power of Algorithms)という、ドイツの放送局a&o bueroによる制作。コンピューターは人間の未来の行動を予測できるのか?という非常に興味深いテーマの番組だった。

番組ではインタビュワー&リポーターを勤める2人のディレクターのスマホに監視ソフトを埋め込み、その行動パターンを専門家2人が解析して将来の行動を予測する、という設定。その2人のディレクターはこの「未来予測」研究の最前線の動きを追って欧米の研究者や開発者にインタビューを重ねる、という趣向だ。

男性のほうのディレクターは米シリコンバレーに出張し、最先端の実地使用や実験、そして開発者を訪ねる。女性ディレクターはドイツを中心に欧州の研究者を訪問する。そんな役割分担である。

紹介されたのはほんの一部だが、例えば、犯罪が起きる確率が高い場所を予測するシステム、Predictive Police。通称PredPolである(米カリフォルニア州Santa Clara警察における。多分、IBMによる)。開発に携わった数学者のGeorge Mohler氏(Santa Clara Univ准教授)が解説していたように、過去の犯罪事例データを徹底的に解析することでパターンを浮き彫りにする手法である。効果は歴然だ。その前年から48%増加中だった駐車車両の盗難件数が15%も減少したのだから。

GoogleのFlu Trendというアプリ(インフルエンザの流行地域の予測)やスイス連邦工科大学での感染症の流行地域予測の研究(結局、航空NWの影響を正確に予測することがポイント)、身体データ収得デバイスによる病気の予兆を知ることでの健康管理(これは別件で少々調べたことがあるが、米国には多くのStart-upsが存在する)、“うつ”の兆候を知らせるアプリ(ボン医科大学のThomas Schlapfer精神科医が開発に関与)、購買分析・レコメンデーション(類似の背景・嗜好を持ったサンプル集団に特有の購買行動を素早く見つけ、適切な商品を推奨する)など、計算式・アルゴリズムを使った未来予想はすでに導入されていることも分かる。

ビッグデータ分析や未来予測で有名なKaggle社の創業者、Anthony Goldbloom氏の短いインタビューというかコメントもあった。「工場や機械化による便利さと同様、100年200年後の人々は、未来予測により受けるメリットに感謝するでしょう」と。実際、Kaggleのクラウドソーシングシステムを使い、多くのプログラマーや科学者が様々な課題に挑戦し、解決に向けて競い合ってもいるのだ。
https://en.wikipedia.org/wiki/Kaggle

一方、批判も少なくない。ドイツ在住のEvgeny Morozov氏(”Smart New World”の著者)は「今の世界の仕組みが完璧だという前提で分析・予測するところが大きな問題であり、危険をはらむ」と警告する。なるほどと思わせる。

その意味でアルゴリズム・アプローチの限界を理解しておく必要があろう。人間が考えて設定したアルゴリズム以上の推測・予測はシステムにはできないということを。番組でも、2人のディレクターのうち1人はあまりに不規則な生活・行動パターンのため、将来の行動予測はできないと判断されたのである。