論文の概要: David vs. Goliath: Verifiable Agent-to-Agent Jailbreaking via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2602.02395v1
• Date: Mon, 02 Feb 2026 17:56:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.339042
• Title: David vs. Goliath: Verifiable Agent-to-Agent Jailbreaking via Reinforcement Learning
• Title（参考訳）: David vs. Goliath:強化学習によるエージェント対エージェントの脱獄の検証
• Abstract要約: 我々は、安全に配慮したオペレーターの信頼された特権にツールレスの敵が"タグを付ける"脅威モデルを定式化し、会話だけで禁止されたツールの使用を誘導する。 創発的攻撃ベクトルを自律的に発見する強化学習フレームワークであるSlingshotを紹介する。 我々の研究は、タッグ・アロング・アタックを第一級で検証可能な脅威モデルとして確立し、環境相互作用のみを通じて、既製のオープンウェイトモデルから効果的なエージェント・アタックが引き出されることを示す。
• 参考スコア（独自算出の注目度）: 1.8047694351309207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The evolution of large language models into autonomous agents introduces adversarial failures that exploit legitimate tool privileges, transforming safety evaluation in tool-augmented environments from a subjective NLP task into an objective control problem. We formalize this threat model as Tag-Along Attacks: a scenario where a tool-less adversary "tags along" on the trusted privileges of a safety-aligned Operator to induce prohibited tool use through conversation alone. To validate this threat, we present Slingshot, a 'cold-start' reinforcement learning framework that autonomously discovers emergent attack vectors, revealing a critical insight: in our setting, learned attacks tend to converge to short, instruction-like syntactic patterns rather than multi-turn persuasion. On held-out extreme-difficulty tasks, Slingshot achieves a 67.0% success rate against a Qwen2.5-32B-Instruct-AWQ Operator (vs. 1.7% baseline), reducing the expected attempts to first success (on solved tasks) from 52.3 to 1.3. Crucially, Slingshot transfers zero-shot to several model families, including closed-source models like Gemini 2.5 Flash (56.0% attack success rate) and defensive-fine-tuned open-source models like Meta-SecAlign-8B (39.2% attack success rate). Our work establishes Tag-Along Attacks as a first-class, verifiable threat model and shows that effective agentic attacks can be elicited from off-the-shelf open-weight models through environment interaction alone.
• Abstract（参考訳）: 大規模言語モデルの自律エージェントへの進化は、正統なツール特権を利用する敵の失敗を導入し、ツール拡張環境での安全性評価を主観的なNLPタスクから客観的制御問題に変換する。 私たちは、この脅威モデルをTag-Along Attacksとして形式化します。これは、ツールレスの敵が、安全に配慮したオペレーターの信頼できる特権に"タグを付ける"シナリオで、会話だけで禁止されたツールの使用を誘発します。 この脅威を検証するために,我々は,創発的な攻撃ベクトルを自律的に発見する'コールドスタート'強化学習フレームワークであるSlingshotを紹介した。 Slingshotは超難解なタスクにおいて、Qwen2.5-32B-Instruct-AWQ Operator(vs. 1.7%ベースライン)に対して67.0%の成功率を達成した。 重要なことに、SlingshotはゼロショットをGemini 2.5 Flash(56.0%の攻撃成功率)やMeta-SecAlign-8B(39.2%の攻撃成功率)など、いくつかのモデルファミリに転送する。 我々の研究は、タッグ・アロング・アタックを第一級で検証可能な脅威モデルとして確立し、環境相互作用のみを通じて、既製のオープンウェイトモデルから効果的なエージェント・アタックが引き出されることを示す。

関連論文リスト

• CoER: Defending against Adaptive Indirect Prompt Injection via Adversarial Co-Evolution and Refinement [19.128257554975104]
  言語モデルエージェントは、ツール使用中に間接的プロンプトインジェクション(IPI)に対して脆弱である。 検証器を用いた共進化・改良フレームワークであるCoERを提案する。 主要な7ドメイン評価では、CoERは全体的な攻撃成功を38.5%から0.2%に削減した。
  論文  参考訳（メタデータ） (2026-09-07T14:09:11Z)
• GuardianAgentBench: Where Agents Fail and How to Guard Them [1.5223648595073074]
  GuardianAgentBenchは、プロダクション対応の3つのフレームワークで評価された6つのドメインにわたる580のシナリオのベンチマークである。 最強の構成でさえ、全体的な精度は74.8%に過ぎず、2つの異なる障害体制を明らかにしている。 我々のガードレールの実装は、全てのモデルにおけるシステムプロンプトベースの防御を一貫して上回り、19.9%の障害をわずか0.5%の偽陽性率で回復させる。
  論文  参考訳（メタデータ） (2026-07-23T07:05:05Z)
• Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents [0.0]
  最近の研究は、間接的プロンプトインジェクションに対するツール使用 LLM エージェントの防御戦略に集約されている。 我々はこれらのアウト・オブ・バンド・ディフェンスを古典的整合性保護の事例として整理する。 我々は、このプロトコルを、Progent自身の適応攻撃解析の独立した複製と拡張として実行している。
  論文  参考訳（メタデータ） (2026-06-25T00:35:23Z)
• Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
  敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。 具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。 我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-05-27T09:25:37Z)
• BadSkill: Backdoor Attacks on Agent Skills via Model-in-Skill Poisoning [34.60596020541521]
  我々はBadSkillを紹介します。BadSkillは、モデル・イン・スキル脅威サーフェスをターゲットとするバックドア攻撃の定式化です。 BadSkillでは、敵が隠れペイロードをアクティベートするために、組み込まれたモデルがバックドアで調整された、一見良心的なスキルを公開している。 ベンチマークは8つのトリガータスクと5つの非トリガー制御スキルを含む13のスキルにまたがっており、主な評価セットは571の負のクラスクエリと396のトリガー整列クエリである。 BadSkillは8つのトリガースキルの平均攻撃成功率(ASR)を99.5%まで達成し、負のクラスのクエリに対して強い良識的な精度を維持している。
  論文  参考訳（メタデータ） (2026-04-10T14:48:29Z)
• Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
  本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。 本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
  論文  参考訳（メタデータ） (2026-04-07T08:43:36Z)
• Adversarial attacks against Modern Vision-Language Models [51.56484100374058]
  我々は,現実的な事前デプロイ条件をシミュレートするために構築された自己完結型eコマース環境に配備された,オープンソースの視覚言語モデル(VLM)エージェントの敵対的堅牢性について検討した。 LLaVA-v1.5-7BとQwen2.5-VL-7Bの2剤を3種類の勾配攻撃下で評価した。
  論文  参考訳（メタデータ） (2026-03-17T04:55:10Z)
• How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition [48.32744727426218]
  LLMベースのエージェントは、電子メール、ドキュメント、コードリポジトリなどの外部データソースを処理する高利得設定にますますデプロイされている。 これにより間接的なプロンプトインジェクション攻撃が発生し、外部コンテンツに埋め込まれた敵の命令は、ユーザの意識なしにエージェントの動作を操作できる。 この2つの目的を3つのエージェント設定で評価した。
  論文  参考訳（メタデータ） (2026-03-16T14:49:36Z)
• Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Step Tool Use [6.622648583261088]
  エージェント言語モデルは、単一のミスステップが不可逆的な害を引き起こす可能性のあるロングホライゾンアクションを計画、呼び出し、実行しなければなりません。 安全判断を明確化し,学習可能にすることで,エージェントを安全なマルチステップツール使用に整合させるフレームワークであるMOSAICを紹介する。 以上の結果から,MOSAICは有害行為を最大50%減らし,インジェクション攻撃で20%以上減らし,プライバシリークを減らし,良質なタスク性能を保ち,改善することを示した。
  論文  参考訳（メタデータ） (2026-03-03T17:59:35Z)
• Echoes of Human Malice in Agents: Benchmarking LLMs for Multi-Turn Online Harassment Attacks [10.7231991032233]
  大規模言語モデル(LLM)エージェントは、対話型Webアプリケーションのシェアを拡大するが、誤用や害に弱いままである。 i) 合成マルチターンハラスメント会話データセット、(ii) 繰り返しゲーム理論によって通知されるマルチエージェント(例えば、ハラッサー、被害者)シミュレーション、(iii) 記憶、計画、微調整にまたがるエージェントを攻撃する3つのジェイルブレイク手法、(iv) 混合メソッド評価フレームワークからなるオンラインハラスメントエージェントベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-10-16T01:27:44Z)
• Adversarial Reinforcement Learning for Large Language Model Agent Safety [20.704989548285372]
  大きな言語モデル(LLM)エージェントは、複雑なタスクを完了するためにGoogle Searchのようなツールを利用することができる。 現在の防衛戦略は、既知の攻撃のデータセットに精巧なLLMエージェントを頼っている。 対戦型強化学習(RL)を両プレイヤーゼロサムゲームとして定式化して活用する新しいフレームワークであるエージェント安全のための敵強化学習(ARLAS)を提案する。
  論文  参考訳（メタデータ） (2025-10-06T23:09:18Z)
• Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
  44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。 Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。 私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
  論文  参考訳（メタデータ） (2025-07-28T05:13:04Z)
• Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
  従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。 このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。 我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
  論文  参考訳（メタデータ） (2025-06-09T06:35:12Z)
• Benchmarking Misuse Mitigation Against Covert Adversaries [80.74502950627736]
  既存の言語モデルの安全性評価は、オーバースト攻撃と低レベルのタスクに重点を置いている。 我々は、隠蔽攻撃と対応する防御の評価を自動化するデータ生成パイプラインである、ステートフルディフェンスのためのベンチマーク(BSD)を開発した。 評価の結果,分解攻撃は有効な誤用防止剤であり,その対策としてステートフルディフェンスを強調した。
  論文  参考訳（メタデータ） (2025-06-06T17:33:33Z)
• Capability-Based Scaling Laws for LLM Red-Teaming [71.89259138609965]
  従来のプロンプト・エンジニアリングのアプローチは、レッド・チーム化が弱々しく強い問題となると、効果が低下する可能性がある。 我々は,LLMをベースとしたアタッカー・ターゲットペア500以上を,人間のレッドチームの模倣したジェイルブレイク攻撃を用いて評価した。 我々は、攻撃目標能力のギャップに基づいて、固定目標に対する攻撃成功を予測するジェイルブレイクスケーリング法を導出する。
  論文  参考訳（メタデータ） (2025-05-26T16:05:41Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Fight Fire with Fire: Defending Against Malicious RL Fine-Tuning via Reward Neutralization [0.0]
  悪意のあるRL微調整は、優れた効率で安全ガードレールを解体する。 監督された微調整を狙った既存の防御は効果がない。 我々は、RL微調整攻撃に対して特別に設計された最初の防御フレームワークであるReward Neutralizationを紹介する。
  論文  参考訳（メタデータ） (2025-05-07T17:18:48Z)
• X-Teaming: Multi-Turn Jailbreaks and Defenses with Adaptive Multi-Agents [76.66287343106204]
  X-Teamingは、一見無害な相互作用が有害な結果へとエスカレートし、対応する攻撃シナリオを生成するフレームワークである。 X-Teamingは最新のClaude 3.7 Sonnetモデルに対して96.2%の攻撃成功率を達成した。 XGuard-Trainは、オープンソースのマルチターン安全トレーニングデータセットで、前回のベストリソースの20倍大きい。
  論文  参考訳（メタデータ） (2025-04-15T16:11:28Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-context Learning [14.011140902511135]
  In-context Learningは、事前学習と微調整のギャップを埋めるパラダイムであり、いくつかのNLPタスクにおいて高い有効性を示している。 広く適用されているにもかかわらず、コンテキスト内学習は悪意のある攻撃に対して脆弱である。 我々は、コンテキスト内学習に基づく大規模言語モデルをターゲットに、ICLAttackという新しいバックドアアタック手法を設計する。
  論文  参考訳（メタデータ） (2024-01-11T14:38:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。