論文の概要: A Behavioural Framework for Predicting and Understanding Loss of Control in Frontier Artificial Intelligence Systems

• arxiv url: http://arxiv.org/abs/2611.07953v1
• Date: Thu, 05 Nov 2026 12:49:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.689394
• Title: A Behavioural Framework for Predicting and Understanding Loss of Control in Frontier Artificial Intelligence Systems
• Title（参考訳）: 最前線人工知能システムにおける制御損失の予測と理解のための行動枠組み
• Abstract要約: 制御リスクの損失を3つの要因(モチベーションの不整合,ハーモネーブ能力,回避監視)に分解する行動的枠組みを導入する。 我々はこれらの因子を、測定可能な13の側面と29の評価タスクを通して操作し、そのスコアを1つのLoCスコアに組み合わせた。 13のフロンティアモデル全体で、LoCスコアは、長期のリスクシナリオを含む障害率と相関して、強い予測正当性を示す。
• 参考スコア（独自算出の注目度）: 41.047867312454166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frontier artificial intelligence (AI) systems are increasingly operating over longer horizons with diminishing human oversight, raising the risk of loss of control: systems acting beyond effective human control with potentially irreversible consequences. Because such failures may become observable only after containment is difficult, they must be assessed prospectively. We introduce a behavioural framework that decomposes loss-of-control risk into three factors: misaligned motive, harm-enabling capability, and monitoring evasion. We operationalise these factors through 13 measurable aspects and 29 evaluation tasks, whose scores are combined into a single loss-of-control (LoC) score. Across 13 frontier models, the LoC score shows strong prospective validity, correlating with failure rates in contained long-horizon risk scenarios (Pearson r = 0.84). Risk varies systematically across models and cannot be explained by capability alone. We further show that the framework can guide targeted mitigations: fine-tuning and monitoring directed at diagnosed vulnerabilities reduce failure rates while largely preserving general performance. These results provide a practical basis for predicting, understanding, and mitigating loss-of-control risk before it materialises.
• Abstract（参考訳）: 最前線の人工知能(AI)システムは、人間の監視を減らし、コントロールの喪失のリスクを高めることで、より長い地平線上でますます運用されている。 このような障害は封じ込めが難しい場合にのみ観測可能であるため、将来的な評価が必要である。 制御リスクの損失を3つの要因(モチベーションの不整合,ハーモネーブ能力,回避監視)に分解する行動的枠組みを導入する。 我々はこれらの因子を、測定可能な13の側面と29の評価タスクを通して操作し、そのスコアを1つのLoCスコアに組み合わせた。 13のフロンティアモデル全体で、LoCスコアは長期のリスクシナリオ(Pearson r = 0.84)の失敗率と相関して、強い予測正当性を示す。 リスクはモデルによって体系的に異なり、能力だけでは説明できない。 さらに、診断された脆弱性に対する微調整と監視により、一般的なパフォーマンスを保ちながら、障害発生率を低減できることを示す。 これらの結果は、それが成立する前に制御リスクの予測、理解、緩和のための実践的な基盤を提供する。

関連論文リスト

• Assessing the Empirical Evidence for Loss of Control from Agentic General-Purpose AI [2.163635907772282]
  EUの一般目的AI規約は、制御の喪失をシステム的リスクとして挙げている。 現在の証拠機関は、制御喪失の判断を「弱々しい可否」と支持している 発見はエージェント汎用AIシステムの厳格な評価の必要性を強調している。
  論文  参考訳（メタデータ） (2026-10-18T13:03:10Z)
• Anticipatory Human Oversight of Agentic AI: A Philosophical Account [1.2949520455740091]
  人間の監視はAIシステムのリスクを軽減するために広く行われている。 この論文は、反応の監視は予測モードによって補完されなければならないと論じている。 提案するフレームワークは、設計によって特定の責任アーキテクチャをもたらす、と我々は主張する。
  論文  参考訳（メタデータ） (2026-09-21T08:07:11Z)
• The safety failures we are not instrumenting: a perspective on hidden safety-critical challenges in modern AI systems [26.594498540217568]
  デプロイされたシステムでは、最も連続的な障害の多くは、目覚ましいよりも静かで、単一のアウトプットに局所化するのではなく、コンポーネントに分散し、障害として認識される前にエコシステムによって正規化される。 現代のAIシステムにおける中心的な安全性の課題は、モデルが有害な応答を放出するかどうかだけではなく、より広範な社会技術システムが、エラーが可視で、競合可能で、封じ込め可能で、回復可能な状態を維持しているかどうかである。
  論文  参考訳（メタデータ） (2026-07-21T17:02:37Z)
• Exploring Systems-Thinking Approaches to Loss of Control Risk [0.0]
  コーディングと研究のためのエージェントAIシステムの内部展開は、モデル行動を超えた社会技術制御問題を生み出す。 我々は、内部デプロイの損失を、AIによる変更を確実に制限、監査、リバース、または停止することができないものとして扱います。 確立されたシステムセーフティ手法が、モデルレベルの評価が見逃す可能性のあるリスクを識別できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-06-11T15:27:31Z)
• Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability [79.08785366532287]
  部分観測可能性下でのリスク感応制御のための軽量なリスクゲート強化学習近似を提案する。 安全クリティカルな部分観測可能な2つの領域 – 自動グルコース調節と安全制約ナビゲーション – でアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-14T01:23:09Z)
• Safety-Oriented Evaluation of Language Understanding Systems for Air Traffic Control [7.102251210849638]
  本稿では, 航空交通制御(ATC)の運用に適した, 安全性を重視した結果認識評価フレームワークを提案する。 以上の結果から,現在のLCMは合理的な集約精度を達成できるが,運用信頼性は著しく制限されていることが明らかとなった。 これらの知見は、AI支援ATCシステムの責任ある展開において、結果認識評価プロトコルの必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-05-12T08:39:54Z)
• Model Tampering Attacks Enable More Rigorous Evaluations of LLM Capabilities [49.09703018511403]
  大規模言語モデル(LLM)のリスクと能力の評価は、AIのリスク管理とガバナンスフレームワークにますます取り入れられている。 現在、ほとんどのリスク評価は、システムから有害な振る舞いを誘発する入力を設計することで実施されている。 本稿では,遅延活性化や重みへの修正が可能なモデル改ざん攻撃を用いたLCMの評価を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:59:16Z)
• Overcoming Failures of Imagination in AI Infused System Development and Deployment [71.9309995623067]
  NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。 我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
  論文  参考訳（メタデータ） (2020-11-26T18:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。