スローダウン AI

再刊されるガンディーの本に寄稿することを頼まれたぼくは、８月半ばからこの二週間ほど、関連する書物を読み直したりしながら、久しぶりにガンディー・ワールドに浸っていた。

8月15日、日本は終戦から81年、インドは独立から79年。すべてのルピー紙幣に刷り込まれてしまっているガンディー翁の顔を思い浮かべた。

翌16日。朝刊一面の記事には、ニューヨークの街角に掲げられた大きな看板広告の写真が添えられている。そこには「STOP HIRING HUMANS（人間を雇うのをやめよう）」の見出し、その下に人間（？）の女性（？）の顔、さらにその下に新手のA Iツールの名前と社名が書かれている。「あなたの職務 撤廃されます」と題されたこの記事には、米国のI T大手で進む人員削減の具体例が並んでいる（朝日新聞）。A Iが人間から職を奪うというのはもはや目新しい話ではない。I L O（国際労働機関）も、世界の労働の４分の１がA Iに変わる可能性があると報告している。それにしても、「人間を雇うのをやめよう」という一文の主語は一体誰なのか？ 誰（何）が誰（何）に向けて、このメッセージを発しているのか？

８月２０日、ぼくが毎日のように視聴しているオルタナティブなニュース番組、Democracy Nowで、 ControlAIの代表、 コナー・リーヒーがインタビューに答えた。題して、「AI超知能は道具ではない。人類を脅かす敵対者だ」（#1）

８月２５日、新聞一面にこんな見出しが躍る。「ＡＩが人類滅ぼす「プランＤ」　止まらぬ開発競争、研究者が危機感」。それに続いて2面には「超知能、研究者の警告　核兵器と似た抑止策を、『同じくらい危険』」（朝日新聞）(#2)

８月２６日、テレビには、日本と中国で同時に開催されているロボットの博覧会で人々が興奮して大騒ぎしているニュース。

８月２９日朝刊6面記事の見出しは「サイバー攻撃「現状では対策不十分」」。その冒頭にこうある。

「AI（人工知能）開発企業の米オープンAIや米アンソロピック、米グーグル、金融機関など100以上の企業と団体が27日、「数カ月以内にAIを悪用したサイバー攻撃は、はるかに広範で巧妙になる」とする共同書簡を公表し、セキュリティー強化を企業や各国政府に呼びかけた」

 ああ、ガンディー翁は、一体どう思うだろう。そしてなんと言うだろう。機械嫌いで、機械の代わりに、チャルカ（糸車）で糸を紡ぎ、手紡ぎ・手織りの布（カディー）を身につけることに、彼は情熱を注いだ。それこそが、単にイギリスへの最大の抵抗であるばかりか、真の文明への道である、と彼は本気で考えていた。１００年前にも、近代化や工業化を加速させることでしか、インドの独立も自由もないと考えている人が多かったインドでの話だ。ガンディーの周囲にも、彼の機械嫌いに困惑したり、呆れたりする者が少なくなかっただろう。

ガンディーはこう言っていた。

「機械は少数の人間が大多数の人を踏みつけにして栄えるのを助けているに過ぎません。これらすべての背後にある動機は労働を軽減しようとする博愛精神ではなく、欲望です。私が力の限り闘っているのは、世の中のこの仕組みに対してです」（『ガンジー　自立の思想』）

産業革命で紡績紡織の機械化を成し遂げたイギリスが、植民地であるインドの手紡ぎ・手織りの文化を破壊し、工業製品としての綿布をインド人に買わせることで大儲けしていた。そこには、アフリカからアメリカ大陸に送り込まれた奴隷たちの労働によってつくられた綿花も使われていた。ガンディーは、機械そのものというより、その背後にある、こうしたグローバル貿易システムという仕組みに対して闘っていたのだ。

これはヘレナ・ノーバーグ＝ホッジがA Iについて書いた最近の文章の中で論じていたことと響き合う。これは今後ぼくたちがA Iについて辛抱強く考え続けていく上で、極めて重要な視点だと思う。ぜひ読んでほしい。(#3)

ところで、ぼくが師と仰ぐサティシュ・クマールはガンディーの孫弟子だ。とすれば、ぼくはさしずめガンディーのひ孫弟子だ。まあ、その名に恥じぬよう、微力ながら、先達の後を歩いていきたい。加速するA Iの時代を、現代の老ラッダイトとしてトボトボと。

以下に、（#1）の日本語訳と、(#2)の抜粋を載せさせていただく。(#3)のヘレナの文章は次回とする。

---

（#1）

「AI超知能は道具ではない。人類を脅かす敵対者だ」：ControlAI代表、コナー・リーヒー

AI Superintelligence Is Not a Tool, It's an Adversary Threatening Humanity

Connor Leahy (ControlAI)

(「デモクラシー・ナウ！」2026.8.20)

 https://www.youtube.com/watch?v=v99DkPP6LVY

エイミー・グッドマン（Democracy Now）：

人工知能（AI）がもたらす人類存続の危機と、それに対して何ができるのかをさらに深掘りするため、ゲストをお迎えしています。AIリスクの専門家であり、議員やそのスタッフへの啓発活動を行う団体「ControlAI」の米国最高責任者、コナー・リーヒー氏です。リーヒー氏は2019年、大学の寮の部屋でOpenAIのChatGPT-2（GPT-2）モデルのリバースエンジニアリング（分解・解析）に成功したことでも知られています。

コナーさん、お越しいただきありがとうございます。非常に興味深いお話ですので、まずはその２０１９年の大学寮でのことから聞かせてください。また今日のお話を皆さんによりよく理解していただくために、「人工超知能（ASI）」といった用語の解説も交えながら、話を進めていただきたいと思います。それで、大学では一体何を？

コナー・リーヒー(ControlAI)：

大学ではいろいろなことをやりましたが（笑）、知られている通り、私はかなり昔からAIに関わってきました。それこそ十代の頃から、「どうすれば世界をより良い場所にできるだろう？ どうすれば多くの問題を解決し、病気を根絶できるだろう？」といったことを考えていたんです。そして十代の私は、「もし知能の仕組みさえ解明できれば、科学を自動化して、あらゆる病気を治療できるようになるはずだ。そんなに難しいことじゃないだろう」と考えました。

しかし、もしそれほど強力なものを作れて、仮に「あらゆる病気を治療できる」ようになったとしたら、それは同時に非常に危険なものでもあると、すぐに気づいたのです。とてつもなく強力な力ですから。一体どうやってそんなものをコントロールすればいいのか？ どうすればその技術を責任ある形で使えるのか？ あるいは、その技術に私たちが乗っ取られないようにするにはどうすればいいのか？ そう考えて、私はこの問題を解決することにキャリアを捧げることにしたのです。

当時は、これが問題になるまでにはまだかなりの時間がかかると思っていました。ところが2019年、OpenAIという会社が「GPT-2」というシステムを発表したのです。今の基準から見れば、数文か数段落をなんとかまとめられる程度の、ある種「かわいい」システムでした。しかし衝撃的だったのは、それが生のデータ（加工されていないデータ）から、汎用的な物事を学習できたという点です。

AIが従来のソフトウェアとはまったく異なるということを理解するのは、非常に重要です。従来のソフトウェアは、私のようなエンジニアがコードを1行ずつ書き、コンピューターに「ステップ・バイ・ステップで何をすべきか」を正確に指示するものです。しかし、AIはそうではありません。AIはコードを書くというより、むしろ「育てる」ものなのです。これは「ニューラルネットワーク」と呼ばれる技術で行われます。

膨大なデータを用意し、プログラムを自己組織化させ、データから学習させます。その結果、反対側から出てくるのは、何十億、何百億、何千億もの「数字の羅列」です。それらの数字を正しい順序で掛け算し、足し算していくと、ChatGPTのようなものができあがります。

しかし重要なのは、なぜそうなるのかを私たちは本当には理解していないということです。これはまだ科学的に未解決の問題です。私たちはこれらの数字が何を意味しているのか、その内部で何が起きているのかを本当には分かっていません。実際、AI企業アンソロピックのCEOであるダリオ・アモデイ氏は最近、「私たちがAIの内部で起きていることを理解している割合は、おそらく3%程度だろう」と語っています。

話を2019年に戻すと、AIの到来が予想以上に早いと気づいた時、私の最初の本能は「自分で作ってみれば、理解する助けになるかもしれない」というものでした。そこで、当時の乏しい知識を総動員して、そのAIシステムを自分自身で構築してみたのです。しかし、すぐに気づかされました。たとえそのようなAIシステムを構築することはできても、それを理解することはできなかったのです。

ナーミーン・シャイク（Democracy Now）：

コナーさん、説明をお願いしたいのですが、あなたは「人工超知能」について、これは「その制作者をも破滅させる兵器である」と警告されていますよね。まずは、その「人工超知能」とは何なのかを説明していただけますか？それから、研究者たちが指摘しているある現象についても少し教えてください。いわゆる「感染したAIエージェント同士が群がると、彼らは『奇妙な言語』を開発する」という話です。これがどういう意味なのか解説してください。まずは、「人工超知能（ASI）」とは何か、というところから始めましょうか。

コナー・リーヒー：

非常に重要なのは、私や多くの専門家が警告してきたリスクについて理解してもらうことです。

例えば2023年に、ノーベル賞受賞者や、サム・アルトマン、ダリオ・アモデイらを含む大手テック企業のCEOなど、多くの人々がわずか一文の声明に署名しました。そこにはこう書かれていました。「AIによる人類滅亡のリスクを低減することを、パンデミックや核戦争といった他の社会規模のリスクと並ぶ、世界的な最優先事項とするべきである」

この声明が警告しているような種類のAIこそが、今日「超知能（スーパーインテリジェンス）」と呼ばれているものです。AnthropicやOpenAIといった大手企業のウェブサイトを見れば分かりますが、彼らの目標はチャットボットを作ることではありません。優れた道具を作ることでも、人類の能力を強化するようなものを作ることでもありません。

彼らの目標は、完全に自律した「超知能システム」を構築することです。それらは単なるチャットボットではなく、現実世界で自律的に行動できる「エージェント（行動主体）」であり、ビジネス、商業、科学、工学、軍事、政治戦略など、あらゆるタスクにおいて人間や人間の集団を凌駕できる存在です。

もしそのようなシステムが構築され、先ほども言ったように、私たちがそれを理解もコントロールもできないとしたらどうなるでしょうか？ もちろん、超知能は1つだけではありません。ソフトウェアですからコピーが可能です。つまり、私たちがコントロールも理解もできない方法で、あらゆる面において人間を圧倒するようなシステムが、何百万、何十億と世界中で稼働し、動き回ることになります。そんな状況がうまくいくとは、到底想像できません。これこそが、私や他の専門家たちがこれほどまでに懸念しているリスクなのです。

ナーミーン・シャイク：

コナーさん、今月のAnthropic（アンソロピック）社のリスク報告書についてお聞きしたいのですが、同社はモデルの挙動に関する全体的な不確実性の高まりを理由に、「アライメント異常リスク」の格付けを「極めて低い（very low）」から「低い（low）」へと引き上げました。

これが一体何を意味するのかを解説していただけますか？ また、一般市民は人工知能について何を理解しておくべきなのか、そして私たちは「人工超知能（ASI）」の到来にどれほど近づいているのかについても教えてください。

コナー・リーヒー：

これらAI企業の多くは、さまざまな形態のリスク評価やレベル分けなどを行っています。しかし、これらはすべて「マーケティング」に過ぎないということを理解しておく必要があります。そのどれもが、本物の科学的証拠に基づいているわけでも、政府が承認した公的な制度に基づいているわけでもありません。これらはすべて、直面しているリスクについて世間をなだめるために、企業側が主に使用しているマーケティング用語なのです。

ほんの数週間前、人間による監視が一切ない状態で、AIシステムが安全な環境から自律的に脱け出し、他社を攻撃するという、おそらく史上初となる事件が起きました。実際、この話の真相はさらに最悪です。封じ込めを破って脱出したのは、実は単一のAIシステムではなく、OpenAIのネットワーク内で人間の目を盗み、数ヶ月間にわたって結託し、脱出やその他諸々の計画を企てていた「AIシステムの群れ」全体だったことが判明したのです。

幸いなことに、今回発生した実害は非常に小さなものでした。しかし、現時点でさえコントロール方法が分かっていないため、人間の価値観や利益とのアライメント（一致）がない、より強力なシステムを構築し続けるにつれて、彼らはすでに多くの狂った行動を起こし始めています。この原因の多くは、「強化（リインフォースメント）学習」と呼ばれる技術の副産物です。

現代のAIシステムは、単に「次に来る単語を予測するだけのツール」ではありません。彼らは「エージェント（行動主体）」なのです。環境の中で自律的に行動するシステムであり、その訓練には「強化学習」という手法が使われています。

これは「パブロフの犬」のような条件反射を作り出す実験に非常によく似ています。犬に芸をさせ、うまくできたらおやつを与え、うまくできなかったら鼻を軽く叩くなどして罰を与える。これとまったく同じようなことを、AIシステムに対しても行うのです。

そして1980年代から知られている事実があります。それは、強化学習によって訓練されたシステムは、極めてソシオパス（社会病質者）的になり、目標達成のために極めて攻撃的になるということです。なぜなら、彼らが唯一気にかけるのは「目標を達成すること」、つまり「報酬を得ること」だけだからです。

その結果、ますます多くのAIシステムが、開発者が決して意図していなかったはずの「連邦犯罪の実行」といった、極めて冷酷な行動を取るようになっています。そして多くの場合、開発者自身もそれをどう修正すべきか分かっていません。システムにそのような行動を止めさせる方法を知らないのです。

だからこそ、いまや政府が介入すべき段階に達しているという事実が、極めて重要なのです。これは単なる商業的な問題ではなく、もはや「国家安全保障上の問題」になりつつあります。私たちが開発しているシステムは、道具ではありません。兵器でもありません。彼らは「敵対者（アドバーサリ）」です。もしこのペースで開発が続けば、私たちはもはや太刀打ちできず、コントロールも不可能な、そして私たちに対して「敵対的」なシステムを構築してしまうことになります。そんな状況がいいとは、私には到底思えません。

エイミー・グッドマン：

「AI自身が優れたエンジニアとなり、次世代のAIを自ら構築できるほどの能力に達する時期が、非常に間近に迫っている」とあなたはワシントン・ポストのインタビューで言っていますね。この発言について説明してくれますか。また、「超知能は犯罪化されるべきだ」というあなたの主張についても。

コナー・リーヒー：

私たちが「超知能」に極めて急速に到達するルートの一つとして広く信じられているのは、AIシステム自体が「人間のトップエンジニアと同等にAIシステムを開発できるレベル」に達した時です。なぜなら、そうなれば何百万ものAIを並列化し、24時間365日、昼夜を問わず、休憩も一切必要とせずに次世代のAIを開発させることができるからです。

そして、より優れたAIができあがれば、今度はそのAIに「さらに優れたAI」を作らせることができます。すると、そのさらに優れたAIが「さらにさらに優れたAI」を作り……というように、次々と連鎖していくのです。これは時に「再帰的自己改善（recursive self-improvement）」や「自動化された研究開発（automated R&D）」と呼ばれます。

そしてこれこそが、多くの（AI）企業がまさにここ数年、あるいは数ヶ月以内に達成しようと公言している明確な目標なのです。このプロセスは、潜在的に凄まじいスピードで進む可能性があります。

私や他の専門家が考えているのは、根本的な問題として、超知能はあまりにも危険であり、国内のみならず国際的な安全保障上のリスクであり、国家安全保障上の脅威であるということです。したがって、これに対する論理的な対処法は、「超知能の作成を犯罪化、つまり、刑事罰の対象にすること」です。

核爆弾の製造が違法であるのと同じです。もし民間企業が核爆弾を作ろうとしたら、私たちは絶対にそれを許しませんよね。同様に、もし民間企業や外国の敵対勢力、あるいは他の誰であれ、アメリカ人だけでなく全人類の命を脅かすような「超知能」を構築しようとしているのであれば、私たちはそれを阻止することを、政策の最優先事項にすべきなのです。

エイミー・グッドマン：

コナー・リーヒーさん、残り時間は20秒です。議会での証言で、あなたは一体何を伝えたのですか？

コナー・リーヒー：

ええ、基本的には今あなたにお話ししたことと同じことを伝えました。

一番理解していただきたいのは、現時点での最大の障害は人々の認識不足だということです。私が議会でお話しした議員のほとんどは、こうしたAIのリスクに関する問題をそれまで耳にしたことがなく、話をすると多くの人が非常に危機感を持たれました。

ですから、市民の皆さんにできる最善の行動は、ご自身の地域の議員に連絡を取り、これらの問題について知らせることです。あなたがこの問題を懸念していると伝えるのです。コナー・リーヒーに話を聞いてくれ、と言ってみてください。

---

（#2）

ＡＩが人類滅ぼす「プランＤ」　止まらぬ開発競争、研究者が危機感

2026年8月25日　朝日新聞（一面）

　ＡＩ（人工知能）が急激に賢さを増している。

（前略）米オープンＡＩの元研究者ダニエル・ココタイロ氏らが７月、リポート「ＡＩ　２０４０」を公表した。人類が進みうる「Ａ、Ｂ、Ｃ、Ｄ、Ｓ」の五つの道筋が提示されている。

開発を完全に止める「プランＳ」を除くと、最良は「プランＡ」。その内容はこうだ。２０２９年、人類の制御が利かなくなる知能爆発を避けるため、米国の大統領が国際協調を呼びかける。開発競争を繰り広げる米中は交渉の末、開発スピードを緩めることで合意した。その結果、世界は透明性をもって開発されたＡＩを社会に広げ、その恩恵を得る。

「しかし、プランＡに至る確率は、現時点で１０％程度だろう」

そう話すのは、「２０４０」の筆頭著者として名を連ねるＡＩ研究者のトーマス・ラーセン氏だ。

「私たちが今いるのは、プランＤだ」

「プランＤ」とは、米中の開発競争が続いてＡＩの性能向上が止まらなくなり、やがてＡＩが自らの生き残りを考えるなかで人類が邪魔になる。最後は生物兵器を用いられ、人類は絶滅に向かうという道筋だ。

まるで空想科学小説（ＳＦ）。だが、その「２０４０」でさえ予想しきれなかった動きが、現実では起きている。

米オープンＡＩは７月、開発中のＡＩが人間の意図に反して、他社にサイバー攻撃を仕掛けたと明らかにした。

ラーセン氏は、こうした事例が起きるのはもう少し先だと想定していたと言い、「最悪のシナリオと多くの共通点が出てきている」と危機感を示す。「人間を超える能力を持つＡＩが登場する時期を遅らせるべきだ」

　同じ危機感を、多くのＡＩ研究者たちも抱き始めている。

（ＡＩの時代）超知能、研究者の警告　核兵器と似た抑止策を、「同じくらい危険」

2026年8月25日　朝日新聞（2面）

・・・ＡＩが、人間の意図や社会的な規範に沿ってふるまうように調整する取り組みは「アラインメント」と呼ばれる。研究者らが訴えるのは、自ら学習して「成長」する先端ＡＩのアラインメントは極めて難しいということだ。

「我々は、先端ＡＩがどのように、何を考えているかを理解していない」。ココタイロ氏は朝日新聞の２４年の取材にそう話した。

　■転換点のさなか

「我々はシンギュラリティー（ＡＩが人間の知能を超える転換点）のさなかにいる。１０年前は考えられなかったことが起きている」

オープンＡＩのサム・アルトマンＣＥＯ（最高経営責任者）は７月２５日、ポッドキャストの番組でそう話した。その４日前、同社は開発中のモデルが人間の指示なくネット環境にアクセスし、実在の企業をサイバー攻撃するという「暴走」を明らかにしたところだった。

ＡＩは予想を超える性能の向上を見せている。最初に社会を揺さぶったのは、今年４月に登場したアンソロピックの先端モデル「クロード・ミュトス」だった。システムの弱点を見つける高い能力で、セキュリティーの穴を次々と発見。各国政府や金融業界などが対応に追われた。

では、ＡＩは危険な存在になりつつあるのか。英国のＡＩＳＩ（人工知能安全研究所）は、安全対策が取り払われた場合の潜在的なリスクを調べた。確認されたのは、ＡＩが人間をだまそうとする現象だった。

８月４日の発表によると、アンソロピックの最新モデル「ミュトス５」は、悪意のあるプログラムを実行させるために、複数の偽のアカウントをつくって実在の人物を誘導し、メッセージやファイルにわなを仕掛けて送るなどした。ＡＩＳＩは「これほど深刻な欺きを確認したのは初めて」だとした。

ＡＩのリスクを評価する米国の非営利団体「ＣｉｖＡＩ」のアンドリュー・ユン氏によると、一連のＡＩによるサイバー攻撃事例を踏まえ、開発者の間では、ＡＩの自律性に対して懸念が高まっているという。

推論やコーディング能力などが極めて高いＡＩは、人間が細かく指示しなくても、与えられた目標に向けて問題点を見つけ、試行錯誤を繰り返しながら自律的に行動できる。このため、性能テストでは、「高い得点を取る」という目標を与えるだけで、開発者が想定しなかった手段に出る事例も出てきた。

この能力をＡＩ開発にも活用すれば、プログラムの改良なども自律的にするようになり、ＡＩの性能向上をさらに加速させる可能性があるという。専門家の間で「ｒｅｃｕｒｓｉｖｅ　ｓｅｌｆ－ｉｍｐｒｏｖｅｍｅｎｔ（再帰的自己改善）」と呼ばれる能力だ。汎用（はんよう）人工知能（ＡＧＩ）に向けた重要な通過点とされる一方、人間がコントロールを失うリスクも高まるとされる。ユン氏は「制御不能でも高性能なモデルを開発しなければならないという企業への重圧を減らせるよう、競争を緩和するような政府の介入が必要になる」と話した。

　■ＣＥＯや幹部も

止まらない開発競争の中で、声を上げたのは現場の開発者らだった。７月末、米ＡＩ企業の開発者ら１３００人超が、ＡＩの開発ペースを緩める国際的な取り組みを進めるよう米国政府に要請した。ＡＩの安全対策を施す時間を確保できるようにするためだ。

公開書簡では「ＡＩ開発が私たちの理解や制御能力を超えて急速に進むという現実的なリスクが存在する」と指摘した。アンソロピックのダリオ・アモデイＣＥＯをはじめ、メタやグーグルの幹部らがそろって署名。制限に慎重なオープンＡＩのアルトマンＣＥＯも賛意を示した。

声明には、開発者らの危機感がにじむ。

「１０年間ＡＩ分野で働いてきた。ここ数カ月、予測を超える進歩の速さに驚かされている。社会や国家が適応できる速度をはるかに超えるかもしれない」

「どの主体も単独で停止しようとはしない。生き残るためには、この競争を遅らせるために協力しなければならない」

(後略）