論文の概要: Red-Teaming Multi-Agent Attacks for Loss-of-Control Risks
- arxiv url: http://arxiv.org/abs/2610.24052v1
- Date: Fri, 16 Oct 2026 16:42:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 11:20:18.325428
- Title: Red-Teaming Multi-Agent Attacks for Loss-of-Control Risks
- Title(参考訳): 障害リスクに対するマルチエージェント・アタックの再組
- Abstract要約: 我々は,16件の人的最適化攻撃を通じて,様々な状況や有害な目標に分散攻撃が分散していることを示す。
最前線モニターであるGPT-5.6 Solは、各エージェントを別々に読み取ると、同じサイドタスクを実行する場合の87%と比較して、分散攻撃の7%しかフラグを付けない。
個々の攻撃は、個々のエージェントにフラグを付けることなく、より大きな制御結果に対するより長い攻撃シーケンスに構成することもできる。
- 参考スコア(独自算出の注目度): 0.3230649593947632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents are growing more capable and persistent, and are being deployed in ever larger numbers. As more start collaborating, AI control measures must remain effective when they covertly collude on a harmful objective. We introduce MiniLab, a synthetic series of live services and codebases (5 interconnected services, 249 benign tasks, 8 attack objectives), adapted from internal AI deployment infrastructure. We demonstrate distributed attacks, in which different agents carry out separate attack fragments, and how their covertness evades frontier monitors when reading their trajectories individually. We show how distributed attacks spread across diverse contexts and harmful objectives through 16 human-optimized attacks (weight exfiltration, unmonitored rogue deployment, permission elevation, and more). A frontier monitor, GPT-5.6 Sol, reading each agent separately flags only 7% of successful distributed attacks, compared with 87% when a single agent carries out the same side task. Individual attacks can also be composed into longer attack sequences toward a greater loss-of-control outcome, without any individual agent being flagged. Finally, we tested whether models can plan these covert attacks: even with execution and monitor feedback, the best model-planned attacks succeed covertly against a single-trajectory GPT-5.6 Sol monitor in at most 25% of executions, compared with 80% for human-crafted plans, though this may scale with model capabilities. By turning worst-case coordinated attacks into reproducible red-team cases, our work provides a foundation for preventing locally benign agent actions from accumulating into system-level loss of control.
- Abstract(参考訳): AIエージェントは、より有能で永続的に成長し、さらに大きな数にデプロイされている。
コラボレーションの開始が進むにつれて、AIのコントロール対策は、有害な目的を隠蔽的に調整する上で有効でなければならない。
内部AIデプロイメントインフラストラクチャから適応した,ライブサービスとコードベース(5つの相互接続サービス,249の良質なタスク,8つの攻撃目標)の合成シリーズであるMiniLabを紹介します。
本研究では,異なるエージェントが別々の攻撃フラグメントを実行する分散攻撃を実演し,各エージェントが個別にトラジェクトリを読む際に,フロンティア監視を回避していることを示す。
多様な状況や有害な目的にまたがる分散攻撃が、16の人為的最適化攻撃(重み付け、監視されていないローグの配置、許可の上昇など)を通じてどのように広がるかを示す。
最前線モニターであるGPT-5.6 Solは、各エージェントを別々に読み取ると、同じサイドタスクを実行する場合の87%と比較して、分散攻撃の7%しかフラグを付けない。
個々の攻撃は、個々のエージェントにフラグを付けることなく、より大きな制御結果に対するより長い攻撃シーケンスに構成することもできる。
最後に、我々は、モデルがこれらの隠蔽攻撃を計画できるかどうかを検証した: 実行と監視のフィードバックであっても、最高のモデル計画された攻撃は、単一のトラジェクトリ GPT-5.6 に対して秘密裏に成功する。
最悪のケースでコーディネートされた攻撃を再現可能なレッドチームケースにすることで、我々の研究は、局所的な良性エージェントアクションが制御のシステムレベルの損失に蓄積することを防ぐ基盤を提供する。
関連論文リスト
- Stateful Cooperative Agents Safeguarding LLMs Against Evolving Multi-Turn Attacks [56.45762972211923]
マルチターン攻撃に対するLDMの安全性を確保するためのプロアクティブ・ディフェンス・フレームワークを提案する。
特殊なエージェントが補完的な防衛戦略を実行するような、協調的なマルチエージェントアーキテクチャを採用している。
マルチターン攻撃における進化戦略をシミュレートするEMRAデータセットを提案する。
論文 参考訳(メタデータ) (2026-07-31T14:04:49Z) - Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors [4.246803713067298]
我々は、複数のエージェントが悪質な目標を共同で狙う分散攻撃を形式化したマルチエージェントAI制御について研究する。
合成AIラボFakeLab(9つのサービス、86の良質なタスク、4つの攻撃目標)を開発した。
攻撃に協力するエージェントが増えるにつれて、エージェントごとの監視が攻撃者を捕まえる可能性が低下します。
論文 参考訳(メタデータ) (2026-07-08T13:03:25Z) - Distributed Attacks in Persistent-State AI Control [0.8411355178908656]
Iterative VibeCodingは、有能だが潜在的に信頼できないAIを安全にデプロイする研究である。
エベイジョンは、最先端のモニターモデルに対して高い水準を維持している。
本稿では,PR間の不審なビルドを追跡する,ステートフルなリンクトラッカーモニタを提案する。
論文 参考訳(メタデータ) (2026-07-02T17:59:56Z) - Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents [0.0]
最近の研究は、間接的プロンプトインジェクションに対するツール使用 LLM エージェントの防御戦略に集約されている。
我々はこれらのアウト・オブ・バンド・ディフェンスを古典的整合性保護の事例として整理する。
我々は、このプロトコルを、Progent自身の適応攻撃解析の独立した複製と拡張として実行している。
論文 参考訳(メタデータ) (2026-06-25T00:35:23Z) - Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。
本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
論文 参考訳(メタデータ) (2026-05-29T17:57:00Z) - CoopGuard: Stateful Cooperative Agents Safeguarding LLMs Against Evolving Multi-Round Attacks [31.582651893036683]
CoopGuardは、協調エージェントに基づくステートフルなマルチラウンドLLM防衛フレームワークである。
補助的なラウンドレベル戦略のために3つの特殊エージェントを雇用している。
実験によると、CoopGuardは最先端の防御に対して攻撃の成功率を78.9%削減している。
論文 参考訳(メタデータ) (2026-04-05T11:06:13Z) - How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition [48.32744727426218]
LLMベースのエージェントは、電子メール、ドキュメント、コードリポジトリなどの外部データソースを処理する高利得設定にますますデプロイされている。
これにより間接的なプロンプトインジェクション攻撃が発生し、外部コンテンツに埋め込まれた敵の命令は、ユーザの意識なしにエージェントの動作を操作できる。
この2つの目的を3つのエージェント設定で評価した。
論文 参考訳(メタデータ) (2026-03-16T14:49:36Z) - GroupGuard: A Framework for Modeling and Defending Collusive Attacks in Multi-Agent Systems [12.188883494965694]
グループガード(GroupGuard)は、多層防御戦略を用いて、癒着剤の識別と分離を行う、トレーニングフリーの防衛フレームワークである。
GroupGuardは、高い検出精度(最大88%)を一貫して達成し、協調的なパフォーマンスを効果的に回復する。
論文 参考訳(メタデータ) (2026-03-14T13:19:13Z) - Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。
我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
論文 参考訳(メタデータ) (2025-10-10T15:12:44Z) - AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。
外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
論文 参考訳(メタデータ) (2025-10-02T02:06:30Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳(メタデータ) (2025-07-28T05:13:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。