論文の概要: Open Problems in Frontier AI Risk Management
- arxiv url: http://arxiv.org/abs/2604.25982v1
- Date: Tue, 28 Apr 2026 15:47:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.121077
- Title: Open Problems in Frontier AI Risk Management
- Title(参考訳): 最前線のAIリスクマネジメントにおけるオープンな問題
- Authors: Marta Ziosi, Miro Plueckebaum, Stephen Casper, Henry Papadatos, Ze Shen Chin, Peter Slattery, James Gealy, Tim G. J. Rudner, Brian Tse, Ariel Gil, Patricia Paskov, Maximilian Negele, Rokas Gipiškis, Nada Madkour, Vera Lummis, Rupal Jain, Luise Eder, Kristina Fort, Malou C. van Draanen Glismann, Inès Belhadj, Amin Oueslati, Anna K. Wisakanto, Richard Mallah, Koen Holtman, Ranj Zuhdi, Daniel S. Schiff, Jessica Newman, Malcolm Murray, Robert Trager,
- Abstract要約: 技術的変化の急速なペースによる科学的合意の欠如が顕著である。
新たなフロンティアAIの安全性プラクティスは、しばしば、確立されたリスク管理フレームワークにミスマッチする、あるいは弱まる可能性がある。
この研究は、フロンティアAIのリスク管理について、堅牢で意味のあるコンセンサスを実現するために、どこの進捗が必要なのかを明確にすることを目的としている。
- 参考スコア(独自算出の注目度): 9.177072380099581
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frontier AI both amplifies existing risks and introduces qualitatively novel challenges. Not only is there a notable lack of stable scientific consensus resulting from the rapid pace of technological change, but emerging frontier AI safety practices are often misaligned with, or may undermine, established risk management frameworks. To address these challenges, we systematically surface open problems in frontier AI risk management. Adopting a problem-oriented approach, we examine each stage of the risk management process - risk planning, identification, analysis, evaluation, and mitigation - through a structured review of the literature, identifying unresolved challenges and the actors best positioned to address them. Recognising that different types of open problems call for different responses, we classify open problems according to whether they reflect (a) a lack of scientific or technical consensus, (b) misalignment with, or challenges to, established risk management frameworks, or (c) shortcomings in implementation despite apparent consensus and alignment. By mapping these open problems and identifying the actors best positioned to address them - including developers, deployers, regulators, standards bodies, researchers, and third-party evaluators - this work aims to clarify where progress is needed to enable robust and meaningful consensus on frontier AI risk management.The paper does not propose specific solutions; instead, it provides a problem-oriented, agenda-setting reference document, complemented by a living online repository, intended to support coordination, reduce duplication, and guide future research and governance efforts.
- Abstract(参考訳): Frontier AIはどちらも既存のリスクを増幅し、質的に新しい課題を導入します。
技術的変化の急激なペースによって、安定した科学的コンセンサスが欠如しているだけでなく、新たなフロンティアAIの安全性プラクティスは、しばしば、確立されたリスク管理フレームワークと不一致または損なわれる可能性がある。
これらの課題に対処するため、私たちは、フロンティアAIリスク管理におけるオープンな問題を体系的に表面化しています。
リスクプランニング,識別,分析,評価,緩和といったリスク管理プロセスの各段階を,文献の構造化されたレビューを通じて検討し,未解決の課題と対処に最も適したアクターを特定した。
異なる種類のオープンな問題が異なる応答を要求することを認識して、オープンな問題を反射するかどうかに応じて分類する。
a)科学的・技術的合意の欠如
(b)リスク管理体制の確立、又は課題
(c) 明らかなコンセンサスとアライメントにもかかわらず、実装上の欠点。
これらのオープンな問題をマッピングし、開発者、デプロイ者、規制機関、標準機関、研究者、サードパーティの評価者を含むアクターを特定することで、この研究は、フロンティアのリスク管理において堅牢で有意義なコンセンサスを実現するために、どのように進歩が必要なのかを明らかにすることを目的としている。
関連論文リスト
- Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳(メタデータ) (2025-08-12T09:42:56Z) - Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.36487127683053]
Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。
RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。
RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
論文 参考訳(メタデータ) (2025-02-08T06:50:47Z) - AI Risk Management Should Incorporate Both Safety and Security [185.68738503122114]
AIリスクマネジメントの利害関係者は、安全とセキュリティの間のニュアンス、シナジー、相互作用を意識すべきである、と私たちは主張する。
我々は、AIの安全性とAIのセキュリティの違いと相互作用を明らかにするために、統一された参照フレームワークを導入する。
論文 参考訳(メタデータ) (2024-05-29T21:00:47Z) - Application of the NIST AI Risk Management Framework to Surveillance Technology [1.5442389863546546]
本研究は、NIST AI RMF(National Institute of Standards and Technology's AI Risk Management Framework)の応用と意義を詳細に分析する。
本研究は, 顔認識システムのリスクが高く, 連続性が高いことから, 本分野におけるリスク管理への構造的アプローチの必要性を強調している。
論文 参考訳(メタデータ) (2024-03-22T23:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。