「1984年」とIOT

今年に入って、米国でジョージ・オーウェルの「1984年」がヒットしているそうです。
1948年に執筆されたこの小説は、全体主義社会、管理社会を描いたSF小説。
この中に「テレスクリーン」と言われる装置が出てきます。
この装置は、テレビと監視カメラを兼ねたもので、政府のプロパガンダを担当する「真理省」制作の番組を流し続ける一方、テレスクリーンの前にいる人々の映像や音声を集めている双方向メディアです。
1984年では、真理省によって改ざんされたデータに基づいた歴史の嘘に気づき、それに反抗しようとした市民が主人公ですが、結局最後は思想警察によって精神的な拷問を受け洗脳されてしまいます。

2017年の現在、ガジェット的にはこのオーウェルの世界は実現しつつあるといえるでしょう。
かつては、SFの世界の話だった「夢の技術」、人工知能もすっかり身近になってきました。
そして、「テレスクリーン」よりはるかに進んだ装置、IOT(Internet of Things)によって、私たちの行動はすべて監視の対象になろうとしています。
しかも現実は、小説よりももっと巧妙です。
その支配者は、我々を支配すると気づかせません。
行動を監視するとか、無理やり思想を方向づけようなどとは、支配される人々に思わせないようにそれを行います。
一見我々は、それによって便利な暮らしを享受しているように見えます。
Googleは無料で、世界中の知を私たちに与えてくれます。
しかし同時にGoogleは、その小さな検索窓を、メール文面を、SNSを通じ、我々のデータを吸い取っていて、それがサーバのAIに収集されています。

これが小説でしたら、「悪の企業Google」とでもなるところでしょうが、おそらく彼らGoogle幹部はこれっぽっちもアニメの悪の結社のように、「世界征服をしてやろう」などと思ってはいないでしょう。もちろんただの善意でやっているわけでもない。

小説と違い現実は、善悪を超えた次元でAIによる支配が行われていると言えます。
逆に言うと、だからこそ「未来は怖い」のかもしれません。
ホーキングやイーロン・マスクなど科学技術を知り尽くした人たちが、人口知能社会の未来に警告を発しています。
無邪気に、人間がAIに、あるいはAIを通じた何者かに支配されることはない。と思うことはあまりに楽観すぎると思います。

私は決して、「だからAI(人工知能)を無くそう」「監視社会反対」という声をあげたいのではありません。
社会がこのような方向になっていく。これは少なくともインターネットが出現した時からわかっていたことです。

そして問題は常に人間の側にあると思います。

とは言え、AIを利用する側、権力を持つものが悪意を持ってはならない、などということではありません。上述したように、善悪という次元で片付けられるような問題ではないからです。
AI社会、人工知能社会になると、人間の種としての欠点が、あぶり出されるところにあります。

人間の「限定合理性」に気づかない人はAIに支配される

人間の種としての欠点は、「限定合理性」と呼ばれるものです。
合理性というのは、情報をインプットして、その情報から正しいことを判断して意思決定を行う(アウトプットする)ことを言います。
この「正しいこと」は倫理的に正しいというよりは、自らの利益になること、と言い換えてもいいかもしれません。
限定合理性の反対が、完全合理性ですが、これは、あらゆる情報を収集できる環境にあって、そのなかで合理的な判断を下すことを言います。

経済学で、誰もが習った、需要供給曲線が交わるところで価格が決まる、完全競争理論は、完全合理性を元にしています。
市場参加者が皆、その商品に関する情報を等しく持っていて、その中で合理的、つまり自分の利益にかなうよう正しくに行動すると、適切な価格がつけられる。これが、アダム・スミスの唱えた「神の見えざる手」です。

しかし、実際にはこの経済メカニズムはなかなかうまく働きません。
このことを述べたのが、ノーベル経済学賞を受賞したハーバート・サイモンです。
人の認知能力には限りがあるので、すべての人があらゆる情報に触れることはできません。
例えば、コーヒーが喫茶店Aでは400円で飲めたけれども、となりにあるB店では300円で飲める。
この情報を知っている人もいれば、知らずに飲んでいる人もいる。
また知っていたとしても、その価値の違いの理由まではわからなかったりします。

しかし最近は、「食べログ」を始めとする情報サイト、ITのおかげで大分情報が行き渡るようになってきた。IOTやAIもある意味この延長線上にあって、どのお店を選ぶか、つまり意思決定に役立たたせようというのがこうしたツールです。

これで私たちは限定合理性を脱して、アダム・スミスが考えたように完全合理性の世界に近づくことができるのかというと、そう話は簡単ではないのです。

コンピュータは、マルチタスクといって、複数のことを並行処理できる機能があります。しかし人間は、一度にいくつものことを同時に考えることは実は非常に苦手です。
例えば、小売店の店長のもとには、様々なマーケティング・データが集まります。それを活用しているかというと、実際に調べてみると、価格を決める際には、結局仕入れ価格に一定のマージンを載せているだけということがわかりました。

また発注量についても、先のことを考えてそれを行うことはなく、目の前の在庫と目先の売上状況以上のことは考えられないことが、「ビール・ゲーム」などのシミュレーションゲームでも確かめられています。

つまり、今後IOTで、いままでに無いほどのデータが私たちのもとに届けられます。
そして人工知能(AI)はその中で、「これがよいだろう」などデータの取捨選択をしてくれるでしょう。

評論家はよく、人口知能時代であっても、最終判断を行うのは人間である。だから小説のように、全体主義的な世の中になったり、人工知能に支配されたりすることはない。と言います。
しかし現在でも、私たちの欲望や考え方は、自らのものではなく、マスコミやCM、そしてネット情報に洗脳されていると言われます。

核兵器のボタンを押す権限を持つ、ある意味最も「合理性」を求められる大国の大統領ですら自分に都合の良いニュースのみを信じ、その他の情報はすべて「フェイク」と言ってのけるのが現実世界。

今後多くの人が(それも無意識に)人工知能(AI)に支配されることになると、考えるのはある意味自然かもしれません。

私がシステム思考を広めたいと思ったのは、そのような限定合理性を自覚し、目先にとらわれない(正確に言えば、目先のことにとらわれるのを自覚しながら)自らの正しい判断を行う手段としてもっとも有効だと考えるからです。

今後IOT、人工知能(AI)に支配されない、逆にそれを使うことができるのは、知識量でも、意志の強さでもない。
それはシステム思考ができる人間と、断言しても良いのではないでしょうか?

(※ビール・ゲーム)
簡単なビジネスゲームで、小売店、問屋、メーカーに分かれて、受注と発注(メーカーは生産)をおこなうだけのゲーム。発注と商品の到着にはタイムラグが有るのがポイント。
単純なやり取りにもかかわらず、実際にやってみると、とんでもない発注をおこなって、在庫を切らしたり、抱えきれないほどの在庫を抱えてしまったりします。