Eliezer Yudkowsky & Nate Soares著「If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All」
人類の能力をはるかに超えた人工超知能(ASI)が人類を滅亡させる危険を訴える、いわゆる「doomer」のAI研究者による待望の書。それがいつ来るのか、どういう順序で起きるのかはわからないが、とにかく「誰かが（ASIを）作ったら、人類は全員死ぬ」というフレーズが繰り返される。
AIによる人類への危害について訴えている人には、ASIや汎用人工知能(AGI)が人類の制御を離れて、あるいは意図的に悪用されて人類を絶滅させるという懸念を訴える人と、AIが既存の差別や格差を拡大したり環境劣化、そして政治的な分極化やデマの拡散などを招き人々の生命や権利・民主主義が脅かされると考える人がいる。テック業界や効果的利他主義の界隈では前者が、わたしを含めた社会運動では後者が注目されており、前者の懸念についてわたしの周囲では「既にAIによる壊滅的な被害は極地的に起きているのに、なにを将来のいつか起きるかもしれない人類滅亡の危機を騒いでいるんだ」と冷笑的なのだけれど、本書は人類滅亡への危機がどのように起きうるのか、可能性のいくつかがわかりやすく提示されている。
とくに説得力を感じたのは、ChatGPTなどに使われている大規模言語モデル(LLM)の進化系として採用されている推論言語モデル(RLM)が実際にどのようにして問題を解決しようとするか、そしてそれが将来どのような危険を招き寄せるか描かれた部分。前世代のLLMは「The AI Con: How to Fight Big Tech’s Hype and Create the Future We Want」のエミリー・ベンダーが「確率的オウム」と呼んだように意味を理解せずただ確率論的に言葉を繋げるだけだったが、RLMも同じように確率論的に作動しているにもかかわらず、推論のステップを一つずつ踏まえ、あらゆる可能性を考慮し、ひたすら与えられた目的を達成しようとして繰り返し異なるアプローチを取ることができる。実際、ネットに接続していないコンピュータへの侵入を命じられるなど物理的に不可能なタスクを与えられたRLMは、それでも人間には思いつかないような方法をひねり出し、本来意図された目的とは異なる結果になろうともモデル内で整合性の取れた解決を図る。
こうしたシステムは今後さらに機能を向上させていくだろうし、なんの規制もないまま新たに画期的な理論や技術が発見されれば（かつてグーグルのAI研究者たちが発表したトランスフォーマー論文一本をきっかけにLLMの開発が一気に進んだように）ある程度リソースを持つ国家や企業、民間人やテロリストによる採用を押し留めるのは難しい。すでにソーシャルメディアに繋がっているLLMはあるし、AIモデルが管理する暗号通貨アカウントも、物理的なアクセス権限を持つ人間を騙したり唆すためのディープフェイクもあるなか、さらに進化したAIが人間が設定したなんらかの曖昧な目的を実現するため、コンピュータシステムだけでなく人間社会の脆弱性を突き、資金を駆使し、あらゆる可能性に対して総当たりで回数制限無しの試行を重ねれば、いずれは人類を滅亡に追いやる大惨事を起こすことは確実だと著者は指摘。それがいつ起きるか、どこで起きるのかはわからないけれど、それが未来永劫起きないという幸運な偶然はありえない。
このような事態を防ぐためには、一定以上の力を持つAIの開発を国際的に禁止し、原子力利用と同じくらい、あるいはそれ以上の国際的監視体制を築く必要があると著者は言う。アメリカのテック業界内でAGIの危険を訴えている人たちがその開発停止や規制を主張するのではなく逆に「中国に先にAGIを開発されたら大変なことになるので、中国に負けないために政府は開発を後押しするべきだ、規制してはいけない」と主張していることからも分かるように、AI開発は全人類を巻き込んだチキンレースとなっている。それぞれの企業や国家がほかより少し先に進めば利益を独占できるというインセンティヴのもと激しい競争を続けているが、この状況を放置していればいずれ中国もアメリカも、テック企業もそれ以外も滅亡するという認識を広めないことにはどうにもならない。
正直、全人類がAIに殺されるよりずっと早い段階でおそらくわたしやわたしの周囲の人たちなんかはみんなとっくに殺されてるんだろうなあと思うけど、映画「ターミネーター」に代表されるSF的的なAI週末論よりずっとリアルに危機を感じられる内容ではあった。
