論文の概要: The Role of Risk Modeling in Advanced AI Risk Management

• arxiv url: http://arxiv.org/abs/2512.08723v1
• Date: Tue, 09 Dec 2025 15:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-10 22:28:08.024964
• Title: The Role of Risk Modeling in Advanced AI Risk Management
• Title（参考訳）: 高度なAIリスクマネジメントにおけるリスクモデリングの役割
• Authors: Chloé Touzet, Henry Papadatos, Malcolm Murray, Otter Quarks, Steve Barrett, Alejandro Tlaie Boria, Elija Perrier, Matthew Smith, Siméon Campos,
• Abstract要約: 急速に進歩する人工知能(AI)システムは、新しい、不確実で、潜在的に破滅的なリスクをもたらす。 これらのリスクを管理するには、厳格なリスクモデリングの基盤となる成熟したリスク管理インフラストラクチャが必要です。 先進的なAIガバナンスは、同様の二重アプローチを採用するべきであり、検証可能な、確実に安全なAIアーキテクチャが緊急に必要である、と私たちは主張する。
• 参考スコア（独自算出の注目度）: 33.357295564462284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rapidly advancing artificial intelligence (AI) systems introduce novel, uncertain, and potentially catastrophic risks. Managing these risks requires a mature risk-management infrastructure whose cornerstone is rigorous risk modeling. We conceptualize AI risk modeling as the tight integration of (i) scenario building$-$causal mapping from hazards to harms$-$and (ii) risk estimation$-$quantifying the likelihood and severity of each pathway. We review classical techniques such as Fault and Event Tree Analyses, FMEA/FMECA, STPA and Bayesian networks, and show how they can be adapted to advanced AI. A survey of emerging academic and industry efforts reveals fragmentation: capability benchmarks, safety cases, and partial quantitative studies are valuable but insufficient when divorced from comprehensive causal scenarios. Comparing the nuclear, aviation, cybersecurity, financial, and submarine domains, we observe that every sector combines deterministic guarantees for unacceptable events with probabilistic assessments of the broader risk landscape. We argue that advanced-AI governance should adopt a similar dual approach and that verifiable, provably-safe AI architectures are urgently needed to supply deterministic evidence where current models are the result of opaque end-to-end optimization procedures rather than specified by hand. In one potential governance-ready framework, developers conduct iterative risk modeling and regulators compare the results with predefined societal risk tolerance thresholds. The paper provides both a methodological blueprint and opens a discussion on the best way to embed sound risk modeling at the heart of advanced-AI risk management.
• Abstract（参考訳）: 急速に進歩する人工知能(AI)システムは、新しい、不確実で、潜在的に破滅的なリスクをもたらす。 これらのリスクを管理するには、厳格なリスクモデリングの基盤となる成熟したリスク管理インフラストラクチャが必要です。 我々はAIリスクモデリングを密接な統合として概念化する (i)リスクから障害へのカスタルマッピングの$-$andの構築 (ii)リスク見積もり$-$quantification the chance and severity of each pathway。 本稿では,障害やイベントツリー解析,FMEA/FMECA,STPA,ベイジアンネットワークなどの古典的手法を概観し,先進的なAIにどのように適応できるかを示す。 能力ベンチマーク、安全性ケース、部分的な定量的研究は価値はあるが、包括的な因果的シナリオから逸脱すると不十分である。 原子力、航空、サイバーセキュリティ、金融、潜水艦のドメインを比較して、あらゆるセクターが許容できない事象に対する決定論的保証と、より広いリスク景観の確率論的評価を組み合わせることを観察する。 先進的なAIガバナンスは、同様の二重アプローチを採用するべきであり、現在のモデルが手作業で指定されるのではなく、不透明なエンドツーエンドの最適化手順の結果であるような決定論的証拠を提供するためには、検証可能な、確実に安全なAIアーキテクチャが緊急に必要である、と我々は主張する。 ある潜在的なガバナンス対応フレームワークでは、開発者は反復的なリスクモデリングを行い、規制当局が事前に定義された社会的リスク許容しきい値と比較します。 本論文は方法論的青写真と,先進的AIリスクマネジメントの中心に健全なリスクモデリングを組み込む最善の方法についての議論を行う。

関連論文リスト

• Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
  我々は9つの詳細なサイバーリスクモデルを開発する。 各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。 個々の見積もりはモンテカルロシミュレーションによって集約される。
  論文  参考訳（メタデータ） (2025-12-09T17:54:17Z)
• A Methodology for Quantitative AI Risk Modeling [32.594929429306774]
  本稿では、シナリオ構築と定量的リスク推定を統合する手法を導入することにより、AIリスク管理のリスクモデリングコンポーネントを進化させる。 我々の手法は、サイバー犯罪、生物兵器開発、有害な操作、制御の喪失など、主要なシステム的AIリスクに適用できるように設計されている。
  論文  参考訳（メタデータ） (2025-12-09T17:34:59Z)
• RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
  大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。 リスク概念空間を再構築する理論的枠組みを導入する。 マルチエージェント協調評価フレームワークRADARを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:35:32Z)
• An Artificial Intelligence Value at Risk Approach: Metrics and Models [0.0]
  人工知能のリスク管理技術の現状は、今後のAI規制により、非常に未熟であるようだ。 本稿の目的は、AIリスク管理の深さについて、AIステークホルダーを指向させることである。
  論文  参考訳（メタデータ） (2025-09-22T20:27:29Z)
• Adapting Probabilistic Risk Assessment for AI [0.0]
  汎用人工知能(AI)システムは、緊急リスク管理の課題を示す。 現在の手法は、しばしば選択的なテストとリスク優先順位に関する未文書の仮定に依存します。 本稿では,AIフレームワークの確率的リスクアセスメント(PRA)を紹介する。
  論文  参考訳（メタデータ） (2025-04-25T17:59:14Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Model evaluation for extreme risks [46.53170857607407]
  AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。 モデル評価が極端なリスクに対処するために重要である理由を説明します。
  論文  参考訳（メタデータ） (2023-05-24T16:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。