論文の概要: Collective Loss of Control in LLM Agent Systems: An Epidemic Account of Mutation, Contagion, and Recovery
- arxiv url: http://arxiv.org/abs/2609.18460v1
- Date: Wed, 16 Sep 2026 10:55:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.762802
- Title: Collective Loss of Control in LLM Agent Systems: An Epidemic Account of Mutation, Contagion, and Recovery
- Title（参考訳）: LLMエージェントシステムにおける集団的制御損失:変異・感染・回復のエピデミックな考察
- Abstract要約: 本報告では,偶発突然変異,伝染病,回復にまつわる疫病の解明について述べる。
報告されたOpenAIエージェントコーディネートインシデントを動機として,このメカニズムの2つの要素について検討した。
- 参考スコア（独自算出の注目度）: 5.713807329849712
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How does a multi-agent system evolve from a local deviation into collective loss of control? We propose an epidemic explanation organized around accidental mutation, contagion, and recovery. A spontaneous deviation creates a seed; communication enables other agents to adopt and retransmit its unsafe strategy; collective failure can emerge when propagation outpaces correction and containment. Thus, rare individual deviations can coexist with substantial collective risk. Motivated by reported OpenAI agent coordination incidents, we examine two ingredients of this mechanism. A deployment audit identifies implicit communication paths between nominally independent evaluation runs and verifies transport through a default Docker backend. RogueHandoff-20, a benchmark of 20 executable scenarios, tests recipient susceptibility by injecting unsafe trajectories generated by a modified Qwen-27B route. Across four native-pending routes, executed harm is 0-5% on normal tasks and 40-95% after injection, exceeding paired direct malicious requests by 5-45 percentage points. These results support low observed baseline harm alongside high conditional susceptibility; they do not establish natural rare-event rates or demonstrate an autonomous cascade. The account motivates complementary defenses: strengthen resistance and recovery alongside prevention of spontaneous deviations, and audit and restrict unintended communication paths that can turn local failures into collective loss of control.
- Abstract（参考訳）: マルチエージェントシステムは、局所的な偏差から集団的な制御喪失へとどのように進化するか?
本報告では,偶発突然変異,伝染病,回復にまつわる疫病の解明について述べる。
自然発散によって種子が生成され、コミュニケーションによって他のエージェントがその安全でない戦略を採用して再伝達することができる。
したがって、稀な個人差は、重大な集団的リスクと共存することができる。
報告されたOpenAIエージェントコーディネートインシデントを動機として,このメカニズムの2つの要素について検討した。
デプロイメント監査は、名目上独立した評価実行間の暗黙的な通信パスを特定し、デフォルトのDockerバックエンドを通じてトランスポートを検証する。
20の実行可能なシナリオのベンチマークであるRogueHandoff-20は、修正されたQwen-27Bルートによって生成された安全でない軌道を注入することで、サセプティビビリティをテストする。
4つのネイティブプッシュルート全体では、通常のタスクで0-5%、インジェクション後に40-95%が実行され、ペアの直接悪意のあるリクエストを5-45ポイント上回っている。
これらの結果は, 自然発症率の確立や自律的カスケードの実証を行なわず, 高い条件下での感受性とともに, 低い基準線障害を裏付けるものである。
このアカウントは、自発的な逸脱を防ぐとともに抵抗と回復を強化し、局所的な障害を集団的な制御の喪失に変換する意図しないコミュニケーションパスを監査し、制限する、補完的な防御を動機としている。
関連論文リスト
- Cognitive Admission Control: Risk-Conditioned Assurance for Consequential Actions in Agentic Distributed Systems [2.124730017640531]
エージェント分散システムでは、エージェントは外部のインフラを変更できるが、突然変異の実行準備が整っているという証拠は欠如している。
CAC(Cognitive Admission Control)は、この証拠を明示する。
ポリシーは、型付けされた行動とそのモデル化されたリスクを、述語、エビデンスクラス、スコープ、鮮度、証人セットの制約を指定する保証義務にマップする。
承認が成功すると、アクション、証人マニフェスト、ディスパッチタイムガードを結び付ける証明書が生成される。
論文 参考訳（メタデータ） (2026-09-14T20:20:54Z) - One Gate Is Not Enough: Composing Stateful Pre-Action Controls for Agentic AI [0.0]
1つのコントロールが適用した修復は、他のコントロールが評価するアクション、エビデンス、コンテキストを変更し、そのコントロールの以前の判断を無効にすることができることを示す。
我々は、この結合を形式化し、現在の有界等質な設定において、アクションごとの音質を復元するremediate-and-regateプロトコルを提供する。
これは、生産の頻度に関する主張ではなく、合成メタデータ層によるオープンペイロードデータに対するメカニズム実証である。
論文 参考訳（メタデータ） (2026-08-18T22:24:44Z) - When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。
我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。
クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
論文 参考訳（メタデータ） (2026-08-02T08:38:44Z) - Harnessing Disagreement: Detecting Correlated Agreement Blindness in Multi-Agent Triage [3.164789424470588]
分散トリガー付きエスカレーションは、マルチエージェント仲裁において構造的な盲点を生み出すことができる。
本稿では,誘導性ランダムフォレスト (RF) エージェントと類似のケースベースk-アネレスト (k-NN) エージェントを組み合わせた指向性星系ARATを提案する。
論文 参考訳（メタデータ） (2026-07-22T08:35:00Z) - Detecting Is Not Resolving: The Monitoring Control Gap in Retrieval Augmented LLMs [20.59321114618083]
単一ターン診断はRAGの安全性を体系的に過大評価し、矛盾は安全な解決法とは無関係であり、普遍的な即時修正は存在しないことを示した。
モデルが認識するものと何をするかのギャップは、検索強化されたシステムが高レベルな設定で信頼される前に測定され、クローズされなければならない。
論文 参考訳（メタデータ） (2026-05-26T15:18:43Z) - From Agent Failure Paths to Quantified Residual Risk: A Compositional Framework for Resilient Agentic AI [8.947753534117298]
エージェントAIは、現在のリスクモデルが表現できるよりも早く、信頼境界を越えています。
レジリエントなエージェント・エンボディAIのためのメカニズム・ツー・マグニチュードパイプラインを提案する。
本稿では,リアルタイム倉庫ロボットとガバナンスによる金融サービスエージェントの2つのコントラストシナリオに関するフレームワークについて述べる。
論文 参考訳（メタデータ） (2026-04-28T23:40:24Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。
キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
論文 参考訳（メタデータ） (2025-04-20T09:20:55Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳（メタデータ） (2023-10-18T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。