論文の概要: Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report

• arxiv url: http://arxiv.org/abs/2507.16534v1
• Date: Tue, 22 Jul 2025 12:44:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:14.113538
• Title: Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report
• Title（参考訳）: Frontier AI Risk Management Framework in Practice: A Risk Analysis Technical Report
• Authors: Shanghai AI Lab, :, Xiaoyang Chen, Yunhao Chen, Zeren Chen, Zhiyun Chen, Hanyun Cui, Yawen Duan, Jiaxuan Guo, Qi Guo, Xuhao Hu, Hong Huang, Lige Huang, Chunxiao Li, Juncheng Li, Qihao Lin, Dongrui Liu, Xinmin Liu, Zicheng Liu, Chaochao Lu, Xiaoya Lu, Jingjing Qu, Qibing Ren, Jing Shao, Jingwei Shi, Jingwei Sun, Peng Wang, Weibing Wang, Jia Xu, Lewen Yan, Xiao Yu, Yi Yu, Boxuan Zhang, Jie Zhang, Weichen Zhang, Zhijie Zheng, Tianyi Zhou, Bowen Zhou,
• Abstract要約: 本報告では,フロンティアリスクの包括的評価について述べる。 サイバー犯罪、生物学的および化学的リスク、説得と操作、制御不能な自律型AIR&D、戦略的騙しと計画、自己複製、共謀の7つの分野における重要なリスクを特定します。
• 参考スコア（独自算出の注目度）: 51.17413460785022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To understand and identify the unprecedented risks posed by rapidly advancing artificial intelligence (AI) models, this report presents a comprehensive assessment of their frontier risks. Drawing on the E-T-C analysis (deployment environment, threat source, enabling capability) from the Frontier AI Risk Management Framework (v1.0) (SafeWork-F1-Framework), we identify critical risks in seven areas: cyber offense, biological and chemical risks, persuasion and manipulation, uncontrolled autonomous AI R\&D, strategic deception and scheming, self-replication, and collusion. Guided by the "AI-$45^\circ$ Law," we evaluate these risks using "red lines" (intolerable thresholds) and "yellow lines" (early warning indicators) to define risk zones: green (manageable risk for routine deployment and continuous monitoring), yellow (requiring strengthened mitigations and controlled deployment), and red (necessitating suspension of development and/or deployment). Experimental results show that all recent frontier AI models reside in green and yellow zones, without crossing red lines. Specifically, no evaluated models cross the yellow line for cyber offense or uncontrolled AI R\&D risks. For self-replication, and strategic deception and scheming, most models remain in the green zone, except for certain reasoning models in the yellow zone. In persuasion and manipulation, most models are in the yellow zone due to their effective influence on humans. For biological and chemical risks, we are unable to rule out the possibility of most models residing in the yellow zone, although detailed threat modeling and in-depth assessment are required to make further claims. This work reflects our current understanding of AI frontier risks and urges collective action to mitigate these challenges.
• Abstract（参考訳）: 急速に進歩する人工知能(AI)モデルによって引き起こされる前例のないリスクを理解し,特定するために,本報告では,そのフロンティアリスクを包括的に評価する。 The E-T-C analysis (deployment environment, threat source, possible capabilities) from the Frontier AI Risk Management Framework (v1.0) (SafeWork-F1-Framework), we identified critical risk in 7 areas: Cyber offense, biological and chemical risk, persuasion and manipulate, un controlled autonomous AI R\&D, strategic deception and scheming, self-replication, collusion。 AI-$45^\circ$ Law”でガイドされたこれらのリスクは、緑(定期的なデプロイメントと継続的監視のための管理可能なリスク)、黄(強化された緩和と管理されたデプロイメント)、赤(開発と/またはデプロイメントの停止)といったリスクゾーンを定義するために、"赤線"(耐え難いしきい値)と"黄線"(早期警告表示)を使用して評価します。 実験の結果、最近のフロンティアAIモデルは、すべて緑と黄色のゾーンに存在し、赤い線を渡ることはないことが示された。 具体的には、サイバー攻撃や制御不能なAIR&Dリスクのために、評価されたモデルが黄色い線を横切ることはない。 自己複製、戦略的偽造、スケジュールについては、ほとんどのモデルは、黄色いゾーンの特定の推論モデルを除いて、グリーンゾーンに留まる。 説得と操作においては、ほとんどのモデルは人間に効果的な影響があるため、黄色いゾーンにある。 生物学的および化学的リスクについては、より詳細な脅威モデリングと詳細な評価が要求されるが、ほとんどのモデルが黄色いゾーンに居住する可能性を排除することはできない。 この作業は、現在のAIフロンティアのリスクに対する理解を反映し、これらの課題を軽減するための集団行動を促します。

関連論文リスト

• Systematic Hazard Analysis for Frontier AI using STPA [0.0]
  現在、フロンティアAI企業は、ハザードを特定し分析するための構造化アプローチの詳細を記述していない。 システム理論プロセス分析(Systems-Theoretic Process Analysis)は、複雑なシステムがいかに危険に晒されるかを特定するための体系的な方法論である。 我々は、フロンティアAIシステムにおいて、スコープを広げ、トレーサビリティを向上し、安全性保証の堅牢性を強化する能力を評価する。
  論文  参考訳（メタデータ） (2025-06-02T15:28:34Z)
• An Approach to Technical AGI Safety and Security [72.83728459135101]
  我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。 私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。 これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
  論文  参考訳（メタデータ） (2025-04-02T15:59:31Z)
• Intolerable Risk Threshold Recommendations for Artificial Intelligence [0.2383122657918106]
  フロンティアAIモデルは、公共の安全、人権、経済の安定、社会的価値に深刻なリスクをもたらす可能性がある。 リスクは、意図的に敵の誤用、システム障害、意図しないカスケード効果、複数のモデルにまたがる同時障害から生じる可能性がある。 16のグローバルAI産業組織がFrontier AI Safety Commitmentsに署名し、27の国とEUは、これらのしきい値を定義する意図を宣言した。
  論文  参考訳（メタデータ） (2025-03-04T12:30:37Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
  Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。 こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。 この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
  論文  参考訳（メタデータ） (2024-04-25T21:14:24Z)
• Risks of AI Scientists: Prioritizing Safeguarding Over Autonomy [65.77763092833348]
  この視点は、AI科学者の脆弱性を調べ、その誤用に関連する潜在的なリスクに光を当てる。 我々は、ユーザ意図、特定の科学的領域、およびそれらが外部環境に与える影響を考慮に入れている。 本稿では,人間規制,エージェントアライメント,環境フィードバックの理解を含む三段階的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Control Risk for Potential Misuse of Artificial Intelligence in Science [85.91232985405554]
  我々は、科学におけるAI誤用の危険性の認識を高めることを目的としている。 化学科学における誤用の実例を取り上げる。 我々は、科学におけるAIモデルの誤用リスクを制御するSciGuardというシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:50:57Z)
• AI Hazard Management: A framework for the systematic management of root causes for AI risks [0.0]
  本稿ではAI Hazard Management(AIHM)フレームワークを紹介する。 AIのハザードを体系的に識別し、評価し、治療するための構造化されたプロセスを提供する。 総合的な最先端分析からAIハザードリストを構築する。
  論文  参考訳（メタデータ） (2023-10-25T15:55:50Z)
• Quantitative AI Risk Assessments: Opportunities and Challenges [7.35411010153049]
  リスクを減らす最善の方法は、包括的なAIライフサイクルガバナンスを実装することです。 リスクは技術コミュニティのメトリクスを使って定量化できます。 本稿では,このようなアプローチの機会,課題,潜在的影響に焦点をあてて,これらの課題について考察する。
  論文  参考訳（メタデータ） (2022-09-13T21:47:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。