論文の概要: The AI Risk Spectrum: From Dangerous Capabilities to Existential Threats

• arxiv url: http://arxiv.org/abs/2508.13700v1
• Date: Tue, 19 Aug 2025 10:05:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.883943
• Title: The AI Risk Spectrum: From Dangerous Capabilities to Existential Threats
• Title（参考訳）: AIリスクスペクトル:危険な能力から既存の脅威まで
• Authors: Markov Grey, Charbel-Raphaël Segerie,
• Abstract要約: 本稿は、個々のユーザーに影響を与える現在の害から、人類の生存を危うくする現実的な脅威まで、AIリスクの全スペクトラムをマッピングする。 これらのリスクを3つの主要な因果分類に分類する。 私たちのゴールは、読者がAIリスクの全体像を理解するのを助けることです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As AI systems become more capable, integrated, and widespread, understanding the associated risks becomes increasingly important. This paper maps the full spectrum of AI risks, from current harms affecting individual users to existential threats that could endanger humanity's survival. We organize these risks into three main causal categories. Misuse risks, which occur when people deliberately use AI for harmful purposes - creating bioweapons, launching cyberattacks, adversarial AI attacks or deploying lethal autonomous weapons. Misalignment risks happen when AI systems pursue outcomes that conflict with human values, irrespective of developer intentions. This includes risks arising through specification gaming (reward hacking), scheming and power-seeking tendencies in pursuit of long-term strategic goals. Systemic risks, which arise when AI integrates into complex social systems in ways that gradually undermine human agency - concentrating power, accelerating political and economic disempowerment, creating overdependence that leads to human enfeeblement, or irreversibly locking in current values curtailing future moral progress. Beyond these core categories, we identify risk amplifiers - competitive pressures, accidents, corporate indifference, and coordination failures - that make all risks more likely and severe. Throughout, we connect today's existing risks and empirically observable AI behaviors to plausible future outcomes, demonstrating how existing trends could escalate to catastrophic outcomes. Our goal is to help readers understand the complete landscape of AI risks. Good futures are possible, but they don't happen by default. Navigating these challenges will require unprecedented coordination, but an extraordinary future awaits if we do.
• Abstract（参考訳）: AIシステムがより有能になり、統合され、広くなり、関連するリスクを理解することがますます重要になる。 本稿は、個々のユーザーに影響を与える現在の害から、人類の生存を危うくする現実的な脅威まで、AIリスクの全スペクトラムをマッピングする。 これらのリスクを3つの主要な因果分類に分類する。 バイオ兵器の作成、サイバー攻撃の開始、対AI攻撃、致命的な自律兵器の配備など、人々が有害な目的でAIを意図的に使用する場合に発生する誤用リスク。 ミスアライメントのリスクは、AIシステムが開発者の意図に関係なく、人間の価値と矛盾する結果を追求する場合に発生する。 これには、仕様ゲーム(リワードハッキング)、スケジュール、長期戦略目標追求における電力探究の傾向を通じて生じるリスクが含まれる。 システム的リスクは、AIが複雑な社会システムに統合され、人的エージェンシーを徐々に弱体化させ、権力を集中させ、政治的・経済的分散を加速させ、人間の達成につながる過度な依存性を生み出したり、現在の価値が将来の道徳的進歩を妨げている場合に生じる。 これらの中核的なカテゴリ以外にも、リスクアンプ(競争的なプレッシャー、事故、企業の無関心、調整失敗など)を特定します。 全体として、今日の既存のリスクと経験的に観察可能なAI行動と、実証可能な将来の成果を結びつけ、既存のトレンドが破滅的な結果にどのようにエスカレートするかを示します。 私たちのゴールは、読者がAIリスクの全体像を理解するのを助けることです。 よい未来は可能だが、デフォルトでは実現しない。 これらの課題をナビゲートするには前例のない調整が必要ですが、もしそうなら、驚くべき未来が待ちます。

関連論文リスト

• Fully Autonomous AI Agents Should Not be Developed [58.88624302082713]
  本稿では,完全自律型AIエージェントを開発すべきではないと主張している。 この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。 分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-04T19:00:06Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• An Overview of Catastrophic AI Risks [38.84933208563934]
  本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。 個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。 組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています 不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
  論文  参考訳（メタデータ） (2023-06-21T03:35:06Z)
• Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
  AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。 偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。 問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-04-16T11:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。