論文の概要: Black-Box Red-Teaming of Multi-Agent Systems via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.28966v1
- Date: Tue, 20 Oct 2026 22:32:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.223802
- Title: Black-Box Red-Teaming of Multi-Agent Systems via Reinforcement Learning
- Title（参考訳）: 強化学習によるマルチエージェントシステムのブラックボックス再チーム化
- Abstract要約: ReMASは、マルチエージェントシステムに適した強化学習ベースのレッドチームフレームワークである。
我々は,既存のブラックボックス攻撃と比較して,ReMASは攻撃成功率を大幅に改善することを示した。
- 参考スコア（独自算出の注目度）: 19.3132277935651
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents are increasingly deployed in multi-agent systems (MAS) to accomplish complex tasks. Prior black-box red-teaming attacks mainly focus on single agents, but we find that these methods are far less effective in MAS, where multiple sub-agents may not directly interact with the user. Therefore, we introduce ReMAS, the first reinforcement learning-based red-teaming framework tailored to MASs, which fine-tunes attacker LLMs to generate effective adversarial prompts for system prompt extraction. The framework follows a two-step process: first, a rewrite stage refines base attack prompts to increase extraction success, and second, a template generation stage constructs attack templates that improve the likelihood of invoking specific sub-agents and thus revealing their system prompts. Extensive experiments show that our method substantially improves attack success rates compared to existing black-box attacks, with transferability across different backend LLMs and MAS structures. These results underscore the vulnerabilities of multi-agent systems and the importance of developing stronger defenses against adaptive black-box adversaries.
- Abstract（参考訳）: 大規模言語モデル (LLM) エージェントは複雑なタスクを達成するためにマルチエージェントシステム (MAS) にますます配備される。
従来のブラックボックスのリピート攻撃は主に単一エージェントに焦点を当てていたが、複数のサブエージェントが直接ユーザと対話できないMASでは、これらの手法ははるかに効果が低いことが判明した。
そこで本研究では,MASに合わせた最初の強化学習ベースのレッドチームフレームワークであるReMASを導入し,システムプロンプト抽出のための効果的な敵プロンプトを生成する。
第1に、リライトステージがベースアタックプロンプトを洗練し、第2に、テンプレート生成ステージは、特定のサブエージェントを呼び出す可能性を高め、システムプロンプトを明らかにするアタックテンプレートを構築する。
大規模な実験により,既存のブラックボックス攻撃と比較して攻撃成功率を大幅に向上し,異なるバックエンドLLMとMAS構造間の転送性が向上した。
これらの結果は、マルチエージェントシステムの脆弱性と、適応的なブラックボックス敵に対するより強力な防御を開発することの重要性を浮き彫りにした。
関連論文リスト
- STAR-Teaming: A Strategy-Response Multiplex Network Approach to Automated LLM Red Teaming [10.305783997912508]
大きな言語モデル(LLM)は、有害または不適切な応答を誘発するジェイルブレイクプロンプトに影響を受けやすい。
本稿では,自動レッドチームのための新しいブラックボックスフレームワークSTAR-Teamingを紹介する。
論文 参考訳（メタデータ） (2026-04-21T01:58:09Z) - Adversarial Reinforcement Learning for Large Language Model Agent Safety [20.704989548285372]
大きな言語モデル(LLM)エージェントは、複雑なタスクを完了するためにGoogle Searchのようなツールを利用することができる。
現在の防衛戦略は、既知の攻撃のデータセットに精巧なLLMエージェントを頼っている。
対戦型強化学習(RL)を両プレイヤーゼロサムゲームとして定式化して活用する新しいフレームワークであるエージェント安全のための敵強化学習(ARLAS)を提案する。
論文 参考訳（メタデータ） (2025-10-06T23:09:18Z) - Quality-Diversity Red-Teaming: Automated Generation of High-Quality and Diverse Attackers for Large Language Models [34.601888589730194]
本稿では,これらの制約に対処する新しいフレームワークであるQDRTを紹介する。
QDRTは、行動条件付きトレーニングを通じて目標駆動の多様性を実現し、オープンな方法で行動リプレイバッファを実装する。
我々の経験的評価は、QDRTがより多種多様で、広範囲のLLMに対してより効果的に攻撃を発生させることを示す。
論文 参考訳（メタデータ） (2025-06-08T13:07:41Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。
新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。
我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
論文 参考訳（メタデータ） (2024-05-28T19:16:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。