論文の概要: AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2510.01586v1
• Date: Thu, 02 Oct 2025 02:06:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.948555
• Title: AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning
• Title（参考訳）: AdvEvo-MARL:マルチエージェント強化学習における相互共進化による内部安全形成
• Authors: Zhenyu Pan, Yiting Zhang, Zhuo Liu, Yolo Yunlong Tang, Zeliang Zhang, Haozheng Luo, Yuwei Han, Jianshu Zhang, Dennis Wu, Hong-Yu Chen, Haoran Lu, Haoyang Fang, Manling Li, Chenliang Xu, Philip S. Yu, Han Liu,
• Abstract要約: AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。 外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
• 参考スコア（独自算出の注目度）: 78.5751183537704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based multi-agent systems excel at planning, tool use, and role coordination, but their openness and interaction complexity also expose them to jailbreak, prompt-injection, and adversarial collaboration. Existing defenses fall into two lines: (i) self-verification that asks each agent to pre-filter unsafe instructions before execution, and (ii) external guard modules that police behaviors. The former often underperforms because a standalone agent lacks sufficient capacity to detect cross-agent unsafe chains and delegation-induced risks; the latter increases system overhead and creates a single-point-of-failure-once compromised, system-wide safety collapses, and adding more guards worsens cost and complexity. To solve these challenges, we propose AdvEvo-MARL, a co-evolutionary multi-agent reinforcement learning framework that internalizes safety into task agents. Rather than relying on external guards, AdvEvo-MARL jointly optimizes attackers (which synthesize evolving jailbreak prompts) and defenders (task agents trained to both accomplish their duties and resist attacks) in adversarial learning environments. To stabilize learning and foster cooperation, we introduce a public baseline for advantage estimation: agents within the same functional group share a group-level mean-return baseline, enabling lower-variance updates and stronger intra-group coordination. Across representative attack scenarios, AdvEvo-MARL consistently keeps attack-success rate (ASR) below 20%, whereas baselines reach up to 38.33%, while preserving-and sometimes improving-task accuracy (up to +3.67% on reasoning tasks). These results show that safety and utility can be jointly improved without relying on extra guard agents or added system overhead.
• Abstract（参考訳）: LLMベースのマルチエージェントシステムは、計画、ツールの使用、役割調整に優れていますが、その開放性と相互作用の複雑さは、ジェイルブレイク、即時注入、敵の協力にも影響します。 既存の防御は2つの線に分かれる。 i)実行前に各エージェントに安全でない命令を事前にフィルタリングするよう依頼する自己検証 二 警察行動の外部ガードモジュール 前者は、スタンドアローンのエージェントが、クロスエージェントの安全でないチェーンやデリゲートによって引き起こされるリスクを検出する能力が不足しているため、しばしばパフォーマンスが低下する。 これらの課題を解決するために,タスクエージェントに安全性を内部化するマルチエージェント強化学習フレームワークAdvEvo-MARLを提案する。 外部の警備に頼るのではなく、AdvEvo-MARLは敵の学習環境において攻撃者(ジェイルブレイクのプロンプトを進化させる)と防衛者(彼らの義務と攻撃に対抗するために訓練されたタスクエージェント)を共同で最適化する。 学習の安定化と協調の促進を目的として,同一機能グループ内のエージェントがグループレベルの平均復帰ベースラインを共有することにより,低分散更新とグループ内調整の強化を実現した。 代表的な攻撃シナリオ全体では、AdvEvo-MARLは一貫して攻撃成功率(ASR)を20%以下に保ち、ベースラインは38.33%まで達する一方、保存および時には改善されたタスクの精度(推論タスクでは+3.67%まで)を保っている。 これらの結果から,追加のガードエージェントや追加のシステムオーバーヘッドに頼ることなく,安全性と利便性を両立させることができることがわかった。

関連論文リスト

• BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
  BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
  論文  参考訳（メタデータ） (2025-08-11T16:04:47Z)
• Evo-MARL: Co-Evolutionary Multi-Agent Reinforcement Learning for Internalized Safety [54.228018540152924]
  マルチモーダルな大規模言語モデル上に構築されたマルチエージェントシステム(MAS)は、強力な協調と性能を示す。 Evo-MARLは、新しいマルチエージェント強化学習フレームワークで、全てのタスクエージェントが防御能力を共同で取得できる。 Evo-MARLは攻撃成功率を最大22%削減し、推論タスクの精度を最大5%向上させる。
  論文  参考訳（メタデータ） (2025-08-05T19:26:55Z)
• Towards Unifying Quantitative Security Benchmarking for Multi Agent Systems [0.0]
  AIシステムの進化 自律エージェントが協力し、情報を共有し、プロトコルを開発することでタスクを委譲するマルチエージェントアーキテクチャをますます展開する。 そのようなリスクの1つはカスケードリスクである。あるエージェントの侵入はシステムを通してカスケードし、エージェント間の信頼を利用して他人を妥協させる。 ACI攻撃では、あるエージェントに悪意のあるインプットまたはツールエクスプロイトが注入され、そのアウトプットを信頼するエージェント間でカスケードの妥協とダウンストリーム効果が増幅される。
  論文  参考訳（メタデータ） (2025-07-23T13:51:28Z)
• Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [55.28518567702213]
  従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。 このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。 我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
  論文  参考訳（メタデータ） (2025-06-09T06:35:12Z)
• ALRPHFS: Adversarially Learned Risk Patterns with Hierarchical Fast \& Slow Reasoning for Robust Agent Defense [12.836334933428738]
  既存の防御は、有害なユーザ入力や安全でないエージェントの振る舞いによって引き起こされる複雑なセマンティックリスクを捉えるのに苦労する“セーフティチェック(Safety Checks)”に依存している。 我々は新しい防衛フレームワーク ALRPHFS (Adversarially Learned Risk Patterns with Hierarchical Fast & Slow Reasoning) を提案する。 ALRPHFS は,(1) リスクパターンの一般化可能な,バランスのとれたライブラリを反復的に洗練するオフライン対向自己学習ループ,(2) 検出効率と計算効率のバランスをとるオンライン階層型高速・低速推論エンジンの2つのコアコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-05-25T18:31:48Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。