論文の概要: Effective Red-Teaming of Policy-Adherent Agents

• arxiv url: http://arxiv.org/abs/2506.09600v1
• Date: Wed, 11 Jun 2025 10:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.872589
• Title: Effective Red-Teaming of Policy-Adherent Agents
• Title（参考訳）: 政策順守剤の効果的な再チーム化
• Authors: Itay Nakash, George Kour, Koren Lazar, Matan Vetzler, Guy Uziel, Ateret Anaby-Tavor,
• Abstract要約: タスク指向のLLMベースのエージェントは、適格性やキャンセルルールの返金といった厳格なポリシーを持つドメインで、ますます使われています。 本稿では,個人的利益のためにポリシーに忠実なエージェントを活用することを目的とした,敵対的ユーザに焦点を当てた新たな脅威モデルを提案する。 CRAFTは、ポリシーを意識した説得戦略を利用して、顧客サービスシナリオにおいてポリシーに忠実なエージェントを弱体化させるマルチエージェントのレッドチームシステムである。
• 参考スコア（独自算出の注目度）: 7.080204863156575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-oriented LLM-based agents are increasingly used in domains with strict policies, such as refund eligibility or cancellation rules. The challenge lies in ensuring that the agent consistently adheres to these rules and policies, appropriately refusing any request that would violate them, while still maintaining a helpful and natural interaction. This calls for the development of tailored design and evaluation methodologies to ensure agent resilience against malicious user behavior. We propose a novel threat model that focuses on adversarial users aiming to exploit policy-adherent agents for personal benefit. To address this, we present CRAFT, a multi-agent red-teaming system that leverages policy-aware persuasive strategies to undermine a policy-adherent agent in a customer-service scenario, outperforming conventional jailbreak methods such as DAN prompts, emotional manipulation, and coercive. Building upon the existing tau-bench benchmark, we introduce tau-break, a complementary benchmark designed to rigorously assess the agent's robustness against manipulative user behavior. Finally, we evaluate several straightforward yet effective defense strategies. While these measures provide some protection, they fall short, highlighting the need for stronger, research-driven safeguards to protect policy-adherent agents from adversarial attacks
• Abstract（参考訳）: タスク指向のLLMベースのエージェントは、適格性やキャンセルルールの返金といった厳格なポリシーを持つドメインで、ますます使われています。 この課題は、エージェントがこれらのルールとポリシーを一貫して遵守し、それらに違反する要求を適切に拒否し、有用で自然な相互作用を維持し続けることにある。 これにより、悪質なユーザ行動に対するエージェントのレジリエンスを確保するために、設計と評価方法の開発が要求される。 本稿では,個人的利益のためにポリシーに忠実なエージェントを活用することを目的とした,敵対的ユーザに焦点を当てた新たな脅威モデルを提案する。 この問題を解決するために、CRAFTは、ポリシーを意識した説得戦略を利用して、顧客サービスシナリオにおいてポリシーに順応するエージェントを弱体化させ、DANプロンプトや感情的操作、強迫性といった従来のジェイルブレイク手法より優れるマルチエージェントのレッドチームシステムである。 既存の Tau-bench ベンチマークに基づいて,エージェントの操作的ユーザ動作に対する堅牢性を厳格に評価する補完的ベンチマークである tau-break を導入する。 最後に,いくつかの単純かつ効果的な防衛戦略を評価した。 これらの措置は幾らかの保護を提供するが、弱体化しており、政策に従順なエージェントを敵の攻撃から守るための、より強力な研究主導の保護の必要性を強調している。

関連論文リスト

• LLM Agents Should Employ Security Principles [60.03651084139836]
  本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。 AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T21:39:08Z)
• AGENTFUZZER: Generic Black-Box Fuzzing for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentFuzzerを提案する。 我々はAgentFuzzerをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• Progent: Programmable Privilege Control for LLM Agents [46.49787947705293]
  LLMエージェントの最初の特権制御機構であるProgentを紹介する。 コアとなるのは、エージェント実行中に適用される権限制御ポリシを柔軟に表現するためのドメイン固有言語である。 これにより、エージェント開発者とユーザは、特定のユースケースに対して適切なポリシーを作成し、セキュリティを保証するために決定的にそれらを強制することができる。
  論文  参考訳（メタデータ） (2025-04-16T01:58:40Z)
• AdvAgent: Controllable Blackbox Red-teaming on Web Agents [22.682464365220916]
  AdvAgentは、Webエージェントを攻撃するためのブラックボックスのレッドチームフレームワークである。 強化学習に基づくパイプラインを使用して、敵のプロンプトモデルをトレーニングする。 慎重な攻撃設計では、エージェントの弱点を効果的に活用し、ステルス性と制御性を維持する。
  論文  参考訳（メタデータ） (2024-10-22T20:18:26Z)
• Adaptive Opponent Policy Detection in Multi-Agent MDPs: Real-Time Strategy Switch Identification Using Running Error Estimation [1.079960007119637]
  OPS-DeMoは、動的エラー減衰を利用して相手のポリシーの変更を検出するオンラインアルゴリズムである。 提案手法は,プレデター・プレイ設定のような動的シナリオにおいて,PPO学習モデルよりも優れている。
  論文  参考訳（メタデータ） (2024-06-10T17:34:44Z)
• Robustifying a Policy in Multi-Agent RL with Diverse Cooperative Behaviors and Adversarial Style Sampling for Assistive Tasks [51.00472376469131]
  多様な介護者対応を訓練することで、ロバストな介護者の方針を学習する枠組みを提案する。 一般的な深層RL法で訓練されたポリシーは、他のエージェントのポリシーの変更に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2024-03-01T08:15:18Z)
• Toward Evaluating Robustness of Reinforcement Learning with Adversarial Policy [32.1138935956272]
  強化学習エージェントは、デプロイ中に回避攻撃を受けやすい。 本稿では,効率的なブラックボックス対応政策学習のための本質的なモチベーション付き適応政策(IMAP)を提案する。
  論文  参考訳（メタデータ） (2023-05-04T07:24:12Z)
• Implicit Poisoning Attacks in Two-Agent Reinforcement Learning: Adversarial Policies for Training-Time Attacks [21.97069271045167]
  標的毒攻撃では、攻撃者はエージェントと環境の相互作用を操作して、ターゲットポリシーと呼ばれる利害政策を採用するように強制する。 本研究では,攻撃者がエージェントの有効環境を暗黙的に毒殺する2エージェント環境での標的毒殺攻撃について,仲間の方針を変更して検討した。 最適な攻撃を設計するための最適化フレームワークを開発し、攻撃のコストは、ピアエージェントが想定するデフォルトポリシーからどの程度逸脱するかを測定する。
  論文  参考訳（メタデータ） (2023-02-27T14:52:15Z)
• Learning Goal-oriented Dialogue Policy with Opposite Agent Awareness [116.804536884437]
  本稿では,目標指向対話における政策学習のための逆行動認識フレームワークを提案する。 我々は、その行動から相手エージェントの方針を推定し、この推定を用いてターゲットエージェントを対象ポリシーの一部として関連づけて改善する。
  論文  参考訳（メタデータ） (2020-04-21T03:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。