論文の概要: Dimensional Characterization and Pathway Modeling for Catastrophic AI Risks
- arxiv url: http://arxiv.org/abs/2508.06411v1
- Date: Fri, 08 Aug 2025 15:56:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-11 20:39:06.291777
- Title: Dimensional Characterization and Pathway Modeling for Catastrophic AI Risks
- Title（参考訳）: 破滅的AIリスクの次元的評価と経路モデリング
- Authors: Ze Shen Chin,
- Abstract要約: 本稿では, CBRN, サイバー攻撃, 制御の突然の喪失, 制御の段階的喪失, 環境リスク, 地政学的リスクの6つのAI破滅的リスクについて検討する。
我々は、これらのリスクを、意図、能力、実体、極性、線形性、到達、順序という7つの重要な次元にまたがって特徴づける。
我々は、初期危険から結果として生じる害へのステップバイステップの進行をマッピングしてリスク経路モデリングを行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although discourse around the risks of Artificial Intelligence (AI) has grown, it often lacks a comprehensive, multidimensional framework, and concrete causal pathways mapping hazard to harm. This paper aims to bridge this gap by examining six commonly discussed AI catastrophic risks: CBRN, cyber offense, sudden loss of control, gradual loss of control, environmental risk, and geopolitical risk. First, we characterize these risks across seven key dimensions, namely intent, competency, entity, polarity, linearity, reach, and order. Next, we conduct risk pathway modeling by mapping step-by-step progressions from the initial hazard to the resulting harms. The dimensional approach supports systematic risk identification and generalizable mitigation strategies, while risk pathway models help identify scenario-specific interventions. Together, these methods offer a more structured and actionable foundation for managing catastrophic AI risks across the value chain.
- Abstract（参考訳）: 人工知能(AI)のリスクに関する議論は増えているが、包括的で多次元の枠組みや、危険を危険にマッピングする具体的な因果経路が欠如していることが多い。
本稿では, CBRN, サイバー攻撃, 制御の突然の喪失, 制御の段階的喪失, 環境リスク, 地政学リスクの6つの大惨事リスクを調査し, このギャップを埋めることを目的とする。
まず、これらのリスクを、意図、能力、実体、極性、線形性、到達、順序という7つの重要な次元にまたがって特徴づける。
次に、最初の危険から結果として生じる害へのステップバイステップの進行をマッピングしてリスク経路モデリングを行う。
次元的アプローチは、体系的なリスク識別と一般化可能な緩和戦略をサポートし、リスクパスモデルはシナリオ固有の介入を特定するのに役立つ。
これらの手法は、バリューチェーン全体にわたる破滅的なAIリスクを管理するための、より構造化され実行可能な基盤を提供する。
関連論文リスト
- Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.787178868669265]
この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。
この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
論文 参考訳（メタデータ） (2026-02-16T04:30:06Z) - Constrained Language Model Policy Optimization via Risk-aware Stepwise Alignment [49.2305683068875]
本稿では,リスク認識を政策最適化プロセスに組み込んだ新しいアライメント手法であるリスク対応ステップワイドアライメント(RSA)を提案する。
RSAは、過剰なモデルシフトによって引き起こされるリスクを基準方針から緩和し、低確率で高影響の有害な振る舞いを明示的に抑制する。
実験により, 本手法は高い安全性を確保しつつ, 高い安全性を達成できることが確認された。
論文 参考訳（メタデータ） (2025-12-30T14:38:02Z) - Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。
各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。
個々の見積もりはモンテカルロシミュレーションによって集約される。
論文 参考訳（メタデータ） (2025-12-09T17:54:17Z) - A Methodology for Quantitative AI Risk Modeling [32.594929429306774]
本稿では、シナリオ構築と定量的リスク推定を統合する手法を導入することにより、AIリスク管理のリスクモデリングコンポーネントを進化させる。
我々の手法は、サイバー犯罪、生物兵器開発、有害な操作、制御の喪失など、主要なシステム的AIリスクに適用できるように設計されている。
論文 参考訳（メタデータ） (2025-12-09T17:34:59Z) - The Role of Risk Modeling in Advanced AI Risk Management [33.357295564462284]
急速に進歩する人工知能(AI)システムは、新しい、不確実で、潜在的に破滅的なリスクをもたらす。
これらのリスクを管理するには、厳格なリスクモデリングの基盤となる成熟したリスク管理インフラストラクチャが必要です。
先進的なAIガバナンスは、同様の二重アプローチを採用するべきであり、検証可能な、確実に安全なAIアーキテクチャが緊急に必要である、と私たちは主張する。
論文 参考訳（メタデータ） (2025-12-09T15:37:33Z) - An Artificial Intelligence Value at Risk Approach: Metrics and Models [0.0]
人工知能のリスク管理技術の現状は、今後のAI規制により、非常に未熟であるようだ。
本稿の目的は、AIリスク管理の深さについて、AIステークホルダーを指向させることである。
論文 参考訳（メタデータ） (2025-09-22T20:27:29Z) - Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report [51.17413460785022]
本報告では,フロンティアリスクの包括的評価について述べる。
サイバー犯罪、生物学的および化学的リスク、説得と操作、制御不能な自律型AIR&D、戦略的騙しと計画、自己複製、共謀の7つの分野における重要なリスクを特定します。
論文 参考訳（メタデータ） (2025-07-22T12:44:38Z) - Adapting Probabilistic Risk Assessment for AI [0.0]
汎用人工知能(AI)システムは、緊急リスク管理の課題を示す。
現在の手法は、しばしば選択的なテストとリスク優先順位に関する未文書の仮定に依存します。
本稿では,AIフレームワークの確率的リスクアセスメント(PRA)を紹介する。
論文 参考訳（メタデータ） (2025-04-25T17:59:14Z) - An Approach to Technical AGI Safety and Security [72.83728459135101]
我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。
私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。
これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
論文 参考訳（メタデータ） (2025-04-02T15:59:31Z) - Multi-Agent Risks from Advanced AI [90.74347101431474]
先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。
エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。
各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
論文 参考訳（メタデータ） (2025-02-19T23:03:21Z) - A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation [0.3413711585591077]
大規模言語モデル(LLM)や拡散モデルを含む生成AIシステムが急速に進歩するにつれ、その採用が増加し、新たな複雑なセキュリティリスクがもたらされた。
本稿では,これらの突発的なセキュリティリスクを分類・緩和するための新しい形式的枠組みを提案する。
我々は、潜時空間利用、マルチモーダル・クロスアタック・ベクター、フィードバックループによるモデル劣化など、未探索のリスクを特定した。
論文 参考訳（メタデータ） (2024-10-15T02:51:32Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Two Types of AI Existential Risk: Decisive and Accumulative [3.5051464966389116]
本稿では,従来の「決定型AI x-リスク仮説」と「累積型AI x-リスク仮説」を対比する。
累積的な視点は、AIリスクに関する一見互換性のない視点を調整できる、と氏は主張する。
論文 参考訳（メタデータ） (2024-01-15T17:06:02Z) - Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。
ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
論文 参考訳（メタデータ） (2023-08-01T02:07:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。