Fugu-MT 論文翻訳(概要): Adversarial Reinforcement Learning for Large Language Model Agent Safety

論文の概要: Adversarial Reinforcement Learning for Large Language Model Agent Safety

arxiv url: http://arxiv.org/abs/2510.05442v1
Date: Mon, 06 Oct 2025 23:09:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-08 17:57:08.018926
Title: Adversarial Reinforcement Learning for Large Language Model Agent Safety
Title（参考訳）: 大規模言語モデルエージェント安全のための対立強化学習
Authors: Zizhao Wang, Dingcheng Li, Vaishakh Keshava, Phillip Wallis, Ananth Balashankar, Peter Stone, Lukas Rutishauser,
Abstract要約: 大きな言語モデル(LLM)エージェントは、複雑なタスクを完了するためにGoogle Searchのようなツールを利用することができる。現在の防衛戦略は、既知の攻撃のデータセットに精巧なLLMエージェントを頼っている。対戦型強化学習(RL)を両プレイヤーゼロサムゲームとして定式化して活用する新しいフレームワークであるエージェント安全のための敵強化学習(ARLAS)を提案する。
参考スコア（独自算出の注目度）: 20.704989548285372
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large Language Model (LLM) agents can leverage tools such as Google Search to complete complex tasks. However, this tool usage introduces the risk of indirect prompt injections, where malicious instructions hidden in tool outputs can manipulate the agent, posing security risks like data leakage. Current defense strategies typically rely on fine-tuning LLM agents on datasets of known attacks. However, the generation of these datasets relies on manually crafted attack patterns, which limits their diversity and leaves agents vulnerable to novel prompt injections. To address this limitation, we propose Adversarial Reinforcement Learning for Agent Safety (ARLAS), a novel framework that leverages adversarial reinforcement learning (RL) by formulating the problem as a two-player zero-sum game. ARLAS co-trains two LLMs: an attacker that learns to autonomously generate diverse prompt injections and an agent that learns to defend against them while completing its assigned tasks. To ensure robustness against a wide range of attacks and to prevent cyclic learning, we employ a population-based learning framework that trains the agent to defend against all previous attacker checkpoints. Evaluated on BrowserGym and AgentDojo, agents fine-tuned with ARLAS achieve a significantly lower attack success rate than the original model while also improving their task success rate. Our analysis further confirms that the adversarial process generates a diverse and challenging set of attacks, leading to a more robust agent compared to the base model.
Abstract（参考訳）: 大きな言語モデル(LLM)エージェントは、複雑なタスクを完了するためにGoogle Searchのようなツールを利用することができる。しかし、このツールの使用は、ツール出力に隠された悪意のある命令がエージェントを操作でき、データ漏洩のようなセキュリティリスクを生じさせる間接的なプロンプトインジェクションのリスクをもたらす。現在の防衛戦略は、通常、既知の攻撃のデータセットに微調整のLLMエージェントに依存する。しかし、これらのデータセットの生成は手作業による攻撃パターンに依存しており、多様性を制限し、新しいプロンプトインジェクションに脆弱なエージェントを残している。この制限に対処するために,2プレイヤーゼロサムゲームとして問題を定式化することにより,敵強化学習(RL)を活用する新しいフレームワークであるエージェント安全のための敵強化学習(ARLAS)を提案する。 ARLASは2つのLDMを共同で訓練する: 多様なプロンプトインジェクションを自律的に生成することを学ぶ攻撃者と、割り当てられたタスクを完了しながらそれらに対して防御することを学ぶエージェントである。広範囲の攻撃に対して堅牢性を確保し、循環学習を防止するため、我々は、前回の攻撃チェックポイントに対する防御をエージェントに指示する集団ベースの学習フレームワークを採用した。 BrowserGymとAgentDojoを評価すると、ARLASで微調整されたエージェントは、元のモデルよりも攻撃成功率を著しく低くし、タスク成功率も向上する。解析により, 敵の攻撃は多様かつ困難であり, 基本モデルと比較してより堅牢なエージェントとなることが確認された。

論文の概要: Adversarial Reinforcement Learning for Large Language Model Agent Safety

関連論文リスト