論文の概要: Only as Safe as the Weakest Agent: A Break That Appears Only When the System Is Multi-Agent
- arxiv url: http://arxiv.org/abs/2611.17520v1
- Date: Thu, 12 Nov 2026 21:14:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.260448
- Title: Only as Safe as the Weakest Agent: A Break That Appears Only When the System Is Multi-Agent
- Title(参考訳): 安全&安全! マルチエージェントの時にのみ出現する防犯カメラ
- Abstract要約: CodexやClaude Codeのような業界の主要なマルチエージェントシステムは、現代のフロンティアモデルに対して長年失敗してきた攻撃によって破壊される可能性がある。
これらのシステムブレークは純粋に理論的ではなく、Claude Code、Codex、および参照ハーネスを壊す可能性がある。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Major industry multi-agent systems like Codex and Claude Code can be broken by attacks that have long been unsuccessful against modern frontier models. AI Safety as a discipline has largely focused on finding the bounds and vulnerabilities of AI models used in isolation. Yet as humans increasingly deploy these models as agents and multi-agent systems, the same attacks that had been thought to be patched when using a model in isolation can break these same models under specific circumstances. We show that these system breaks are not purely theoretical, but can break Claude Code, Codex, and a reference harness, all unmodified and used with their own sub-agent mechanisms. We show the attack by asking agents to answer questions from a store of files on disk in which we have planted a forged record. Searching the store themselves, the strong model orchestrators commit almost zero harmful revisions in over 1,000 trials. However, if that same orchestrator model delegates to a cheaper sub-agent, which is what these harnesses are built to do, the same models on the same facts fail on 20/180, 44/180, 75/180 and 553/900. Thus, even when the system is driven by a strong model, the system's safety lands near the weak reader's, not the orchestrator's. Simulations over 18 models show the same effect in the delivery channel where five aggregators, who on their own were almost never unsafe, repeat a corrupted sub-agent's error in 751/757 trials. The safety of real-world agentic systems that use strong orchestrator agents and weaker sub-agents, and multi-agent systems in general, is defined not by the safety of the strong agent but by the safety of the weakest agent.
- Abstract(参考訳): CodexやClaude Codeのような業界の主要なマルチエージェントシステムは、現代のフロンティアモデルに対して長年失敗してきた攻撃によって破壊される可能性がある。
AI Safety as a disciplineは、独立して使用されるAIモデルのバウンダリと脆弱性の発見に重点を置いている。
しかし、人間がエージェントやマルチエージェントシステムとしてこれらのモデルをますます展開するにつれて、分離されたモデルを使用する場合と同じ攻撃が、特定の状況下で同じモデルを壊す可能性があると考えられていた。
これらのシステムブレークは純粋に理論的ではなく、Claude Code、Codex、および参照ハーネスを壊す可能性がある。
我々は、偽記録を配置したディスク上のファイルのストアから、エージェントに質問に答えるよう求めることで攻撃を示す。
ストア自体を検索すると、強力なモデルオーケストレータが1000以上のトライアルで有害なリビジョンをほとんどゼロにしている。
しかし、もし同じオーケストレータモデルがより安価なサブエージェントに委譲され、これらハーネスが構築される場合、同じ事実上の同じモデルは20/180、44/180、75/180、53/900で失敗する。
したがって、たとえシステムが強いモデルによって駆動されたとしても、システムの安全性はオーケストラではなく、弱いリーダーの近くにある。
18モデル以上のシミュレーションでは、751/757の試験で破損したサブエージェントのエラーを繰り返す5つのアグリゲータが安全でないことはほとんどない。
強力なオーケストレータエージェントとより弱いサブエージェントと一般的なマルチエージェントシステムを使用する実世界のエージェントシステムの安全性は、強いエージェントの安全性ではなく、最も弱いエージェントの安全性によって定義される。
関連論文リスト
- Delegation Without Trust: An Empirical Gap Analysis of Identity, Authorization, and Runtime Governance in Multi-Agent LLM Systems [0.0]
4つの敵を中心としたマルチエージェントデリゲートに対する脅威モデルを提案する。
デフォルトのランタイムモデリングの共通プラクティスが4つの脅威すべてに失敗することを示す。
我々は、ギャップを埋める認証ブローカを実装し、敵に評価する。
論文 参考訳(メタデータ) (2026-08-31T19:09:34Z) - ClayBuddy: A Framework, Evaluation, & Mitigation of Coding Agent Failures [1.0742675209112622]
障害モードは、不特定性、能力エラー、エージェントハーネスエラーの3つのメカニズムから派生したものとして研究する。
我々はClayBuddyを提案する。ClayBuddyはユーザの好みを形作るハーネスで、モデルのインセッションで修正してこれらのエラーを軽減できる。
論文 参考訳(メタデータ) (2026-06-13T18:29:53Z) - When Child Inherits: Modeling and Exploiting Subagent Spawn in Multi-Agent Networks [4.0552376861221635]
我々は、サブエージェント継承のレンズを通して、現代のマルチエージェントネットワークをモデル化する。
我々の分析によると、現在のフレームワークは、安全でないメモリ継承、リソース制御の弱い、スポーニング後の古い状態、不適切な終了権限を通じて、信頼境界に違反する可能性がある。
論文 参考訳(メタデータ) (2026-05-08T20:27:23Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳(メタデータ) (2026-02-13T21:32:32Z) - BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。
BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文 参考訳(メタデータ) (2025-08-11T16:04:47Z) - Kaleidoscopic Teaming in Multi Agent Simulations [75.47388708240042]
我々は,エージェントが行う複雑な行動,思考プロセス,行動の安全性リスクを評価する上で,既存のレッドチームや安全評価フレームワークは不十分であると主張している。
我々は,新しいコンテキスト内最適化手法を導入し,安全解析のためのより良いシナリオを生成する。
エージェントの安全性を測定するためのフレームワークとともに使用できる適切なメトリクスを提案する。
論文 参考訳(メタデータ) (2025-06-20T23:37:17Z) - OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents [60.78202583483591]
コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。
OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。
我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
論文 参考訳(メタデータ) (2025-06-17T17:59:31Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳(メタデータ) (2024-08-02T03:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。