Substack AI文明の生き方 

AIは人類を滅ぼすのか、という論争をビジネスパーソンはどう読むべきか

要約:AI研究者から「人類絶滅70%」という発言が出て業界が揺れています。結論としては、絶滅論の真偽より「AI×自律性×接続性」の掛け算が急拡大している事実を、自分の仕事の判断軸に落とし込むことが実務上は重要です。

目次

何が起きているのか

2026年9月、AI業界内部から衝撃的な発言が相次ぎました。OpenAIとAnthropicでプレトレーニング研究に携わってきたジェイコブ・コクソン氏がAnthropicを退職し、「両社とも自己改善型の超知性に向かって突き進み、人類を危険な賭けにさらしている」と表明。Anthropicのアライメント研究リード、エヴァン・ハビンジャー氏も「今後10年以内に人類全体を絶滅させる確率は個人的に10%を超える」と公言しました。

一方で、これに対する反論も強力です。中心にあるのは「デジタル世界」と「物理世界」の距離という論点です。AIがどれほど賢くなっても、設計図と実物の間には常に距離がある、という指摘です。

この論争は抽象的なSF談義に見えるかもしれません。しかし、AIを業務に取り込み、自分のキャリア戦略を組み立てようとしている読者にとっては、実は極めて実務的な示唆を含んでいます。

結論:見るべきは「賢さ」ではなく三つの掛け算

この論争の核心を一言でまとめると、次のようになります。

AIのリスク(そして機会)の大きさは、能力の高さだけでは決まらない。能力・自律性・接続性の掛け算で決まる。

要素内容ビジネスへの含意
能力AIがどれだけ賢く、正確に仕事をこなせるかツール選定の基準になりやすいが、単独では判断材料として不十分
自律性人間の逐一の指示なしに、目標達成まで自走できるか任せる業務の範囲・承認プロセスの設計に直結する
接続性どれだけ多くのシステム・データ・他のAIとつながっているか影響範囲とリスクの伝播範囲を決める最重要変数

同じ「賢いAI」でも、社内の閉じたツールとして使う場合と、複数のシステムに接続した自律エージェントとして使う場合とでは、リスクもリターンもまったく別物になります。この三軸で自社のAI活用を棚卸しすることが、抽象論を実務に変換する第一歩です。

「設計できる」と「実行できる」の距離

AI研究者の一部が指摘する物理的な制約は、業務の現場にもそのまま当てはまります。

  • AIが完璧な提案書を書けることと、その提案が実行され成果につながることは別。
  • AIが最適な戦略を計算できることと、組織がその戦略を実行できる体制を持っていることは別。
  • AIがコードを一瞬で書けることと、そのコードが本番環境で安全に動くことは別。

構造設計の世界で言えば、構造計算書が完成しても建物が建ったわけではないのと同じです。材料調達、施工、品質管理という工程を経て初めて建物になります。AI導入においても、「AIが出した答え」と「組織として実行できる答え」の間には、必ず検証と実装のプロセスが必要です。ここを省略した拙速な導入は、精度の高いAIほど危険度を上げます。

それでも軽視できない理由

一方で「物理的な壁があるから安心」とも言い切れません。サイバー攻撃、金融取引、情報発信、監視、意思決定支援といった領域では、AIは物理的な装置を必要とせず、ネットワークにつながっているだけで大きな影響力を持てるからです。

業務の現場で言えば、次のような接続はすでに「壁のない領域」です。

  • 顧客データベースに直結したAIエージェント
  • 自動で発注・決済まで行うAIワークフロー
  • SNSやメール配信を自動生成・自動送信するAI
  • 複数のSaaSをまたいで動く自律型エージェント

これらは能力そのものが多少低くても、接続範囲が広いだけでリスクが拡大します。逆に言えば、接続範囲を意図的に絞ることは、いますぐできる最も現実的なリスク管理です。

「止めるか、続けるか」ではなく「段階的に管理する」

AI業界の議論でも、単純な二択(開発を止めるか、無条件に進めるか)から脱却し、能力の段階に応じて安全対策を変える考え方が主流になりつつあります。これは企業のAI導入にもそのまま応用できる発想です。

AIの活用段階目安必要な管理レベル
文章・資料作成の補助人間が最終判断・実行通常のレビュー体制で十分
定型業務の自動化人間が例外対応承認フローとログ管理
自律型エージェントによる業務遂行人間は事後確認が中心アクセス範囲の制限、監査ログ、緊急停止手順
複数エージェント・複数システムの連携人間の介在が薄い権限設計の再設計、独立したチェック機能

段階が上がるほど、必要なのは「AIを信頼するかどうか」ではなく「どこに安全装置を置くか」という設計上の問いです。

AI企業のトップも意見が割れている

AnthropicのCEOダリオ・アモデイ氏は、独立した監視機関や業界間の協調、国際協力を求める論考を発表しました。OpenAIのサム・アルトマン氏は企業への信頼を求めながら「必ずうまくやり遂げる」と発言し、Nvidiaのジェンスン・フアン氏は新しい法律は不要だと主張しています。開発の最前線にいる経営者の間でも見解は割れており、業界標準を待つより、自社なりのリスク管理の物差しを持つことが現実的な選択肢になります。

まとめ

  • AIのリスクと機会は、能力・自律性・接続性の掛け算で決まる
  • 「AIが出せる答え」と「組織が実行できる答え」の間には検証プロセスが必須
  • 接続範囲を絞ることは、いますぐできる現実的なリスク管理
  • 能力の段階に応じて管理レベルを変える発想が、企業のAI導入にも応用できる

この論争の背景にある「70%という数字の意味」「再帰的自己改善とゲーム理論の関係」については、Substackの記事でさらに掘り下げて解説しています。AI時代の意思決定の土台を整理したい方は、あわせてご覧ください。

関連記事:AIの「権限設計」から考えるリスク管理(内部リンク:後日URLを設定) 関連記事:AI時代のキャリア戦略と経験ポートフォリオ(内部リンク:後日URLを設定)

続きはこちら:「人類滅亡70%」論争でわかった、AIの本当のリスクの正体(Substack) https://phity.substack.com/p/ai-risk-ruin

よかったらシェアしてね!
目次