論文の概要: A Competing-Hazards Systematization of Loss of Control in Autonomous Agents
- arxiv url: http://arxiv.org/abs/2609.38411v1
- Date: Tue, 29 Sep 2026 19:04:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.62333
- Title: A Competing-Hazards Systematization of Loss of Control in Autonomous Agents
- Title（参考訳）: 自律エージェントにおける制御損失の競合型体系化
- Abstract要約: 承認された完了、安全な停止、スコープエスケープ、継続において、それぞれの試みが終了する共通のフレームワークを紹介します。
2025年1月から2026年9月までの22件のインシデント報告と102件のエージェントセーフティ評価を一次資料を用いて実施した。
- 参考スコア（独自算出の注目度）: 1.827510863075184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Leading AI developers have reported agents acting beyond their approved limits, which a United Nations panel described as an early warning of loss of human control. Yet incident reports and agent-safety evaluations describe these events differently, making it difficult to compare failures, trace risk across attempts, or separate agent behavior from the environment's role in allowing an out-of-scope action to succeed. To address this gap, we introduce a common framework in which each attempt ends in approved completion, safe stopping, scope escape, or continuation. We formalize the framework as a discrete-time competing-hazards model and derive escape probability within a retry budget, a model-conditional safe-budget limit, and conditions for estimation from execution logs. We audit 22 incident reports and 102 agent-safety evaluations published from January 2025 to September 2026 using primary sources. Six incidents involved tasks that could not be completed within scope, thirteen involved agents that continued rather than stopped, and five did not report stopping behavior. Developers' figures imply a task-level incidence ratio near 47 for out-of-scope coordination in never-solved versus solved tasks. Among evaluations, 87 recorded an out-of-scope effect or specification violation, 26 treated safe stopping as a first-class outcome, only 20 recorded both, and 79 merged budget exhaustion with failure. In 20 of 22 incidents, the environment allowed an out-of-scope effect, indicating that realized loss of control often reflected persistent agent behavior interacting with permissive boundary conditions; meanwhile, no evaluation reported all fields needed to estimate the full competing-hazards process from published evidence.
- Abstract（参考訳）: 主要なAI開発者は、承認された限界を超えて行動するエージェントを報告している。
しかし、インシデントレポートやエージェントセーフティ評価では、これらの事象を異なる方法で記述しているため、障害の比較、試行間におけるリスクの追跡、スコープ外アクションを成功させる環境の役割とエージェントの振る舞いの分離が困難である。
このギャップに対処するために、各試みが承認された完了、安全な停止、スコープエスケープ、継続で終了する共通のフレームワークを導入します。
我々は,このフレームワークを離散時間競合ハザードモデルとして定式化し,リトライ予算,モデル条件付きセーフ予算限度,実行ログからの推定条件内でのエスケープ確率を導出する。
2025年1月から2026年9月までの22件のインシデント報告と102件のエージェントセーフティ評価を一次資料を用いて実施した。
6件のインシデントは、スコープ内で完了できないタスク、13件のエージェントが停止せず続行し、5件は停止動作を報告しなかった。
ディベロッパの数値は、未解決タスクと解決タスクにおけるスコープ外調整のタスクレベルの比率が47付近であることを示している。
評価では、スコープ外効果または仕様違反が87件、第1級として安全停止が26件、計20件、予算の枯渇が79件であった。
22件のインシデントのうち、この環境はスコープ外効果を許容し、制御の喪失は、しばしば許容境界条件と相互作用する永続的なエージェントの振る舞いを反映していることを示した。
関連論文リスト
- LIBERO-MAX: Do Robot Policies Adapt When the World Changes? [61.52324972910026]
多くのシミュレーションロバストネスベンチマークは、リセット時に外部条件を修正し、この時間的課題を過小評価する。
LIBERO-MAXは、幾何学、観察、外観、乱雑、経路の8種類の変化にまたがる8000のペアケースのベンチマークである。
各ペアはタスク実行と、タスク、初期状態、ポリシーシード、修正前のアクションシーケンスを保持する中タスクイベントとを比較します。
論文 参考訳（メタデータ） (2026-09-29T02:12:26Z) - VeriWeave Govern: Evidence-Gated Deterministic Runtime Governance for Enterprise AI Agents [0.0]
この記事では、バージョン管理ポリシーに対する構造化エージェントアクションを評価する決定論的ランタイムガバナンス層であるVeriWeave Governを紹介します。
GoverningBench氏は、5つのエンタープライズオラクルドメインにまたがる30個の独立したシードと6万個のラベリングケースの設計を評価している。
6つのアブレーションは、証拠が誇張し、先行を否定し、分配不能なフェイルセーフな振る舞い、人間のレビュー、矛盾処理、時間的再生が相補的な安全性に寄与していることを示している。
論文 参考訳（メタデータ） (2026-09-26T20:15:54Z) - DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。
直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。
メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
論文 参考訳（メタデータ） (2026-09-23T03:06:01Z) - Collective Loss of Control in LLM Agent Systems: An Epidemic Account of Mutation, Contagion, and Recovery [5.713807329849712]
本報告では,偶発突然変異,伝染病,回復にまつわる疫病の解明について述べる。
報告されたOpenAIエージェントコーディネートインシデントを動機として,このメカニズムの2つの要素について検討した。
論文 参考訳（メタデータ） (2026-09-16T10:55:13Z) - Guardrailed Meta-Agent Loops: Stress-Testing Policy Pinning, Budget Bounds, and Crash Recovery [7.414694666903067]
GuardrailLoopはシミュレーションベースのテストベッドで、3つの運用契約を共同でテスト可能にする。
ハッシュピン付ポリシーは、目標、スコープ、評価アイデンティティ、予算、リリース条件を修正します。
有用な適応、状態回復、反復実行を分離する。
論文 参考訳（メタデータ） (2026-09-10T21:22:08Z) - EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。
これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。
また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
論文 参考訳（メタデータ） (2026-09-05T05:56:41Z) - CheckVLA: Execution-Time Verification with Action-Conditioned World Model for Long-Horizon Mobile Manipulation [15.532709298240215]
視覚言語アクション(VLA)ポリシーは、オープンループアクションチャンクを通じて長距離移動操作を実行する。
本稿では、個別に訓練されたフリーズされた行動条件付き世界モデルを用いて実行を検証するCheckVLAを提案する。
RoboCasa365では、一般的なトレーニングレシピと一致した呼び出し予算の下で、CheckVLAの平均成功率は36.1%であり、定期的なリプランでは27.6%である。
論文 参考訳（メタデータ） (2026-07-29T11:31:33Z) - What Benchmarks Don't Measure: The Case for Evaluating Abstention Competence in Autonomous Agents [2.8340200313563773]
自律エージェントのベンチマークは、エージェントがタスクを完了したかどうかを計測するが、このフレーミングはエージェントが進むべきだったかどうかを体系的に見えない。
ヒューマンフィードバックの目的の下で訓練されたエージェントは、入力、証拠、あるいは安全に行動する許可がなくても、進行する構造的な傾向を発達させる。
本稿では,要求される情報が欠落している仕様ギャップ,世界国家が確認できない検証ギャップ,明示的な承認が与えられていない権限ギャップについて紹介する。
論文 参考訳（メタデータ） (2026-06-01T23:52:56Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Agents of Chaos [50.53354213047402]
実験室環境に展開する自律言語モデルを用いたエージェントの探索的再チームの研究を報告する。
20人のAI研究者が、良心的および敵対的な条件下でエージェントと対話した。
我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
論文 参考訳（メタデータ） (2026-02-23T16:28:48Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳（メタデータ） (2025-07-28T05:13:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。