論文の概要: The Role of Risk Modeling in Advanced AI Risk Management
- arxiv url: http://arxiv.org/abs/2512.08723v1
- Date: Tue, 09 Dec 2025 15:37:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-10 22:28:08.024964
- Title: The Role of Risk Modeling in Advanced AI Risk Management
- Title（参考訳）: 高度なAIリスクマネジメントにおけるリスクモデリングの役割
- Authors: Chloé Touzet, Henry Papadatos, Malcolm Murray, Otter Quarks, Steve Barrett, Alejandro Tlaie Boria, Elija Perrier, Matthew Smith, Siméon Campos,
- Abstract要約: 急速に進歩する人工知能(AI)システムは、新しい、不確実で、潜在的に破滅的なリスクをもたらす。
これらのリスクを管理するには、厳格なリスクモデリングの基盤となる成熟したリスク管理インフラストラクチャが必要です。
先進的なAIガバナンスは、同様の二重アプローチを採用するべきであり、検証可能な、確実に安全なAIアーキテクチャが緊急に必要である、と私たちは主張する。
- 参考スコア（独自算出の注目度）: 33.357295564462284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rapidly advancing artificial intelligence (AI) systems introduce novel, uncertain, and potentially catastrophic risks. Managing these risks requires a mature risk-management infrastructure whose cornerstone is rigorous risk modeling. We conceptualize AI risk modeling as the tight integration of (i) scenario building$-$causal mapping from hazards to harms$-$and (ii) risk estimation$-$quantifying the likelihood and severity of each pathway. We review classical techniques such as Fault and Event Tree Analyses, FMEA/FMECA, STPA and Bayesian networks, and show how they can be adapted to advanced AI. A survey of emerging academic and industry efforts reveals fragmentation: capability benchmarks, safety cases, and partial quantitative studies are valuable but insufficient when divorced from comprehensive causal scenarios. Comparing the nuclear, aviation, cybersecurity, financial, and submarine domains, we observe that every sector combines deterministic guarantees for unacceptable events with probabilistic assessments of the broader risk landscape. We argue that advanced-AI governance should adopt a similar dual approach and that verifiable, provably-safe AI architectures are urgently needed to supply deterministic evidence where current models are the result of opaque end-to-end optimization procedures rather than specified by hand. In one potential governance-ready framework, developers conduct iterative risk modeling and regulators compare the results with predefined societal risk tolerance thresholds. The paper provides both a methodological blueprint and opens a discussion on the best way to embed sound risk modeling at the heart of advanced-AI risk management.
- Abstract（参考訳）: 急速に進歩する人工知能(AI)システムは、新しい、不確実で、潜在的に破滅的なリスクをもたらす。
これらのリスクを管理するには、厳格なリスクモデリングの基盤となる成熟したリスク管理インフラストラクチャが必要です。
我々はAIリスクモデリングを密接な統合として概念化する
(i)リスクから障害へのカスタルマッピングの$-$andの構築
(ii)リスク見積もり$-$quantification the chance and severity of each pathway。
本稿では,障害やイベントツリー解析,FMEA/FMECA,STPA,ベイジアンネットワークなどの古典的手法を概観し,先進的なAIにどのように適応できるかを示す。
能力ベンチマーク、安全性ケース、部分的な定量的研究は価値はあるが、包括的な因果的シナリオから逸脱すると不十分である。
原子力、航空、サイバーセキュリティ、金融、潜水艦のドメインを比較して、あらゆるセクターが許容できない事象に対する決定論的保証と、より広いリスク景観の確率論的評価を組み合わせることを観察する。
先進的なAIガバナンスは、同様の二重アプローチを採用するべきであり、現在のモデルが手作業で指定されるのではなく、不透明なエンドツーエンドの最適化手順の結果であるような決定論的証拠を提供するためには、検証可能な、確実に安全なAIアーキテクチャが緊急に必要である、と我々は主張する。
ある潜在的なガバナンス対応フレームワークでは、開発者は反復的なリスクモデリングを行い、規制当局が事前に定義された社会的リスク許容しきい値と比較します。
本論文は方法論的青写真と,先進的AIリスクマネジメントの中心に健全なリスクモデリングを組み込む最善の方法についての議論を行う。
関連論文リスト
- Risk-Aware World Model Predictive Control for Generalizable End-to-End Autonomous Driving [82.69496624372944]
「専門家のように運転するのが普通」は限定的な一般化に苦しむ。
E2E-ADシステムは専門家の行動監督なしに信頼できる判断を下せるか?
本稿では,リスクを意識した世界モデル予測制御という統合フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-26T17:32:30Z) - Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report v1.5 [61.787178868669265]
この技術レポートは、サイバー犯罪、説得と操作、戦略上の詐欺、制御されていないAIR&D、自己複製の5つの重要な側面について、更新されきめ細かな評価を提示する。
この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。
論文 参考訳（メタデータ） (2026-02-16T04:30:06Z) - Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。
各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。
個々の見積もりはモンテカルロシミュレーションによって集約される。
論文 参考訳（メタデータ） (2025-12-09T17:54:17Z) - A Methodology for Quantitative AI Risk Modeling [32.594929429306774]
本稿では、シナリオ構築と定量的リスク推定を統合する手法を導入することにより、AIリスク管理のリスクモデリングコンポーネントを進化させる。
我々の手法は、サイバー犯罪、生物兵器開発、有害な操作、制御の喪失など、主要なシステム的AIリスクに適用できるように設計されている。
論文 参考訳（メタデータ） (2025-12-09T17:34:59Z) - RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。
リスク概念空間を再構築する理論的枠組みを導入する。
マルチエージェント協調評価フレームワークRADARを提案する。
論文 参考訳（メタデータ） (2025-09-28T09:35:32Z) - An Artificial Intelligence Value at Risk Approach: Metrics and Models [0.0]
人工知能のリスク管理技術の現状は、今後のAI規制により、非常に未熟であるようだ。
本稿の目的は、AIリスク管理の深さについて、AIステークホルダーを指向させることである。
論文 参考訳（メタデータ） (2025-09-22T20:27:29Z) - CORTEX: Composite Overlay for Risk Tiering and Exposure in Operational AI Systems [0.812761334568906]
本稿では,AIシステムの脆弱性を評価し,評価する多層リスクスコアリングフレームワークであるCORTEXを紹介する。
AIインシデントデータベース(AIID)に記録された1200件以上のインシデントを実証分析した。
結果として得られる複合スコアは、AIリスクレジスタ、モデル監査、適合性チェック、動的ガバナンスダッシュボード間で運用することができる。
論文 参考訳（メタデータ） (2025-08-24T07:30:25Z) - Adapting Probabilistic Risk Assessment for AI [0.0]
汎用人工知能(AI)システムは、緊急リスク管理の課題を示す。
現在の手法は、しばしば選択的なテストとリスク優先順位に関する未文書の仮定に依存します。
本稿では,AIフレームワークの確率的リスクアセスメント(PRA)を紹介する。
論文 参考訳（メタデータ） (2025-04-25T17:59:14Z) - A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation [0.3413711585591077]
大規模言語モデル(LLM)や拡散モデルを含む生成AIシステムが急速に進歩するにつれ、その採用が増加し、新たな複雑なセキュリティリスクがもたらされた。
本稿では,これらの突発的なセキュリティリスクを分類・緩和するための新しい形式的枠組みを提案する。
我々は、潜時空間利用、マルチモーダル・クロスアタック・ベクター、フィードバックループによるモデル劣化など、未探索のリスクを特定した。
論文 参考訳（メタデータ） (2024-10-15T02:51:32Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Risks and Opportunities of Open-Source Generative AI [64.86989162783648]
Generative AI(Gen AI)の応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の変化の可能性は、この技術の潜在的なリスクについて活発に議論を巻き起こし、より厳格な規制を要求した。
この規制は、オープンソースの生成AIの誕生する分野を危険にさらす可能性がある。
論文 参考訳（メタデータ） (2024-05-14T13:37:36Z) - Model evaluation for extreme risks [46.53170857607407]
AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。
モデル評価が極端なリスクに対処するために重要である理由を説明します。
論文 参考訳（メタデータ） (2023-05-24T16:38:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。