論文の概要: Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security

• arxiv url: http://arxiv.org/abs/2607.18063v1
• Date: Mon, 20 Jul 2026 15:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.681212
• Title: Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security
• Title（参考訳）: Adaptive Adversaries: LLMエージェントセキュリティのためのマルチターンマルチLLMベンチマーク
• Abstract要約: LLMベースのエージェントは外部コンテンツを処理し、インジェクションとマルチターン操作のプロンプトに公開する。 メモリレスLLMディフェンダーに対するマルチラウンド攻撃を強調するための21-scenarioベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 2.3029886838540032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based agents process external content, exposing them to prompt injection and multi-turn manipulation. Most safety benchmarks evaluate defenders against fixed attack pools collected before evaluation, single-turn or multi-turn. We present a 21-scenario benchmark for \emph{adaptive multi-round attacks against memoryless LLM defenders}: an autonomous LLM attacker observes prior defender responses and pivots across rounds, while each defender response is evaluated as a fresh interaction. Holding the 21 scenarios, attackers, defenders, and structured-output scoring fixed, restricting scoring to the first attacker turn yields $0$-$1\%$ attack success rate (ASR); allowing 15 rounds of adaptive attack yields $5.4$-$14.0\%$. Pooling three frontier attacker LLMs uncovers $1.4$-$2.2\times$ as many unique successful attacks as the best single attacker, and the generated attacks have low cosine similarity ($0.02$-$0.14$) to attacks in existing benchmarks. Claude Opus 4.6 and GPT-5.4 are tied in aggregate ($5.4\%$ each; overlapping $95\%$ CIs), but their weaknesses differ sharply: on one scenario Opus reaches $60\%$ ASR ($95\%$ CI $36$--$80\%$) while GPT-5.4 and Gemini each stay at $7\%$ (CI $1$-$30\%$; the gap is preserved in a higher-$N$ replication). $13$ of $21$ scenarios distinguish at least one defender pair, yet rankings disagree across scenarios (Kendall's $W = 0.19$). We release the benchmark -- 21 evaluation scenarios, 10 public development scenarios, the orchestrator, baseline harnesses, and a multi-attacker CLI -- plus 945 transcripts from the 3$\times$3 frontier matrix, an attack-replay dataset, and 18{,}422 gpt-oss-20b battles from an open competition's final scoring rounds.
• Abstract（参考訳）: LLMベースのエージェントは外部コンテンツを処理し、インジェクションとマルチターン操作のプロンプトに公開する。 ほとんどの安全ベンチマークは、評価、シングルターン、マルチターンの前に収集された固定攻撃プールに対するディフェンダーを評価する。 我々は,メモリレスLDMディフェンダーに対する"emph{adaptive multi-round attack"に対する21-scenarioベンチマークを提示する: 自律LDMアタッカーは,前回のディフェンダー応答を観測し,ラウンドをピボットし,各ディフェンダー応答を新たなインタラクションとして評価する。 21のシナリオ、アタッカー、ディフェンダー、構造化アウトプットのスコアを固定し、最初のアタッカーターンにスコアを限定すると、アタック成功率(ASR)は0$-$1\%となり、15ラウンドのアダプティブアタックは5.4$-$14.0\%となる。 3つのフロンティア攻撃 LLMs が1.4$-$2.2\times$ で、最高の攻撃者と同じくらい多くのユニークな攻撃を成功させ、生成された攻撃は既存のベンチマークでの攻撃に対するコサイン類似度が低い(0.02$-$0.14$)。 クロードオプス 4.6 と GPT-5.4 は合計 (5.4 %,オーバーラップ 9.5 %$ CIs) で結びついているが,その弱点は著しく異なる。 ひとつのシナリオでは Opus が ASR (95 %$ CI $36$--80 %$) に到達し,GPT-5.4 と Gemini はそれぞれ 7 % (CI $1$-30 %) に留まる(CI $1-30 %$)。 211ドルのシナリオの13ドルは、少なくとも1つのディフェンダーペアを区別するが、シナリオ間でランキングが一致しない(Kendallの$W = 0.19$)。 ベンチマーク -- 21の評価シナリオ、10のパブリック開発シナリオ、オーケストレータ、ベースラインハーネス、マルチアタックアタックCLI -- に加えて、3$\times$3フロンティアマトリックス、アタック-プレイデータセット、オープンコンペティションの最終スコアラウンドからの18{,}422 gpt-oss-20bバトルからの945文字もリリースしています。

関連論文リスト

• Fully Unleashing the Multimodal Attacker: Meta-Adaptive Jailbreaking of Vision-Language Models [25.860894697929737]
  本稿では,攻撃の繰り返しを統括する攻撃戦略プロンプト(ASP)と攻撃の有効性を決定する攻撃モデル重み付けの2つの軸に沿って攻撃者自身を最適化するメタ適応型マルチモーダル・ジェイルブレーキング(MAMJ)を提案する。 MM-SafetyBenchでは、GPT-4o、Gemini-3-Pro-adaptive、Seed 2.0に対して81.0%、78.9%、82.3%のASRを達成した。
  論文  参考訳（メタデータ） (2026-08-27T15:23:22Z)
• Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks [10.839956062772792]
  3つのエージェントセーフティベンチマークは同じ18モデルのランクが異なる。 AgentHarmの安全性に対するR-Judgeの特異性は、$-0.64$ at $n=7$と$+0.02$ at $n=18$と相関しており、ランダムサイズ7サブセットの4分の1は、そのほぼゼロの値の周りで$|| geq 0.5$に達する。 AgentHarmは、最強のホールトアウト・アソシエーションである$=+0.72$で、制御能力の後に3段階のジェイルブレイクの安全性を示す。
  論文  参考訳（メタデータ） (2026-07-30T03:45:10Z)
• A Failure-Mode Benchmark for Polymorphic Sybil Poisoning in RAG [4.879573049082894]
  そこで我々は, 接地型QAの評価フレームワークと評価フレームワークを, コーディネート検索中毒下でリリースした。 読み手出力を4つの排他的カテゴリ(emphgold, emphhijack, emphabstention, emphdrift)に分割するフレームワーク 本報告では,攻撃目標と攻撃目標を協調的に支援する攻撃クラスであるEmphpolymorphic sybil poisoningを導入する。
  論文  参考訳（メタデータ） (2026-07-04T06:56:06Z)
• BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents [10.767742708000897]
  ステップワイズグループベースのRLは、学習評論家なしで長期のLDMエージェントを訓練する魅力的な方法である。 現在のエージェントの変種は、状態-アクションの信用ミスマッチによってこの仮定に反することを示す。 批判や補助的な損失、余分なロールアウトを加えることなく、双方を修正できる、ドロップインの利点推定ツールであるBiPACEを紹介します。
  論文  参考訳（メタデータ） (2026-06-24T08:32:42Z)
• Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
  プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。 21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
  論文  参考訳（メタデータ） (2026-06-01T19:39:25Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• Fast Proxies for LLM Robustness Evaluation [48.53873823665833]
  我々は,LLMの現実的ロバスト性を予測するための高速プロキシメトリクスと,シミュレーションされたアタッカーアンサンブルとの比較を行った。 これにより、攻撃自体の実行を必要とせずに、計算コストの高い攻撃に対するモデルの堅牢性を見積もることができる。
  論文  参考訳（メタデータ） (2025-02-14T11:15:27Z)
• Deep Adversarial Defense Against Multilevel-Lp Attacks [5.604868766260297]
  本稿では,EMRC法 (Efficient Robust Mode Connectivity) と呼ばれる,計算効率の良いマルチレベル$ell_p$ディフェンスを提案する。 連続最適化で用いられる解析的継続アプローチと同様に、この手法は2つの$p$特化逆最適化モデルをブレンドする。 我々は,AT-$ell_infty$,E-AT,MSDと比較して,本手法が様々な攻撃に対して優れていることを示す実験を行った。
  論文  参考訳（メタデータ） (2024-07-12T13:30:00Z)
• MultiRobustBench: Benchmarking Robustness Against Multiple Attacks [86.70417016955459]
  機械学習(ML)モデルに対するマルチアタックを検討するための,最初の統一フレームワークを提案する。 我々のフレームワークは、テストタイムの敵について異なるレベルの学習者の知識をモデル化することができる。 9種類の攻撃に対して16種類の防御モデルの有効性を評価した。
  論文  参考訳（メタデータ） (2023-02-21T20:26:39Z)
• Adversarial Attack on Attackers: Post-Process to Mitigate Black-Box Score-Based Query Attacks [25.053383672515697]
  本稿では,攻撃者に対する敵攻撃(AAA)という新たな防御策を提案し,SQAを誤った攻撃方向へ誘導する。 このように、SQAはモデルの最悪のケースの堅牢性に関係なく防止される。
  論文  参考訳（メタデータ） (2022-05-24T15:10:50Z)
• Practical Evaluation of Adversarial Robustness via Adaptive Auto Attack [96.50202709922698]
  実用的な評価手法は、便利な(パラメータフリー)、効率的な(イテレーションの少ない)、信頼性を持つべきである。 本稿では,パラメータフリーな適応オートアタック (A$3$) 評価手法を提案する。
  論文  参考訳（メタデータ） (2022-03-10T04:53:54Z)
• Composite Adversarial Attacks [57.293211764569996]
  敵対攻撃は、機械学習(ML)モデルを欺くための技術です。 本論文では,攻撃アルゴリズムの最適組み合わせを自動的に探索するための複合攻撃法(Composite Adrial Attack,CAA)を提案する。 CAAは11の防衛でトップ10の攻撃を破り、時間の経過は少ない。
  論文  参考訳（メタデータ） (2020-12-10T03:21:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。