論文の概要: The Web Doesn't Sit Still: Adversarial Self-Evolving Attacks on Search Agents
- arxiv url: http://arxiv.org/abs/2611.03754v1
- Date: Mon, 02 Nov 2026 11:06:25 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:24:00.053229
- Title: The Web Doesn't Sit Still: Adversarial Self-Evolving Attacks on Search Agents
- Title(参考訳): ウェブはいまだに止まらない: 検索エンジンに対する敵対的自己進化攻撃
- Abstract要約: 大規模言語モデル(LLM)は、複雑な情報検索タスクに対処するための検索エージェントの強化を約束している。
既存の攻撃戦略は、必然的に静的および人為的なテンプレートに依存している。
本稿では,攻撃者の戦略の進化と防御者の適応的緩和を両レベルに最適化する対戦型自己進化フレームワークを提案する。
- 参考スコア(独自算出の注目度): 67.37517289323237
- License:
- Abstract: Large Language Models (LLMs) have shown promise for empowering search agents to tackle complex information-seeking tasks. However, since acquiring external information necessitates web search, these agents are highly susceptible to various adversarial attacks (e.g., malicious information injection or stealthy context manipulation). Existing attack strategies inevitably rely on static and human-crafted templates, failing to emulate the dynamic and complex nature of real-world threats. In this paper, we propose an adversarial self-evolution framework that integrates bi-level optimization between the attacker's strategy evolution and the defender's adaptive mitigation, to expose the vulnerabilities of search agents. Specifically, we introduce the Contrastive Rollout Evolutionary Optimization (CREO) method to drive the directional evolution of the attack strategy population via contrastive evolutionary signals. To provide a stable environment for this continuous evolution, we further construct a controlled sandbox and design fine-grained metrics to quantify internal vulnerabilities. Extensive experiments across various multi-hop QA benchmarks and frontier LLMs demonstrate that the proposed framework yields attack efficacy superior to static baselines, underscoring the urgent need to develop more robust defense frameworks.
- Abstract(参考訳): 大規模言語モデル(LLM)は、複雑な情報検索タスクに対処するための検索エージェントの強化を約束している。
しかし、外部情報を取得することはWeb検索を必要とするため、これらのエージェントは様々な敵攻撃(悪意のある情報注入やステルスなコンテキスト操作など)に非常に敏感である。
既存の攻撃戦略は、必然的に静的および人為的なテンプレートに依存し、現実世界の脅威の動的で複雑な性質をエミュレートすることができない。
本稿では,攻撃者の戦略の進化と防御者の適応的緩和を両レベルに最適化し,探索エージェントの脆弱性を露呈する対向的自己進化フレームワークを提案する。
具体的には、コントラシブ・ロールアウト進化最適化法(CREO)を導入し、コントラスト進化信号による攻撃戦略集団の方向性の進化を推し進める。
この継続的進化のための安定した環境を提供するため、制御されたサンドボックスをさらに構築し、内部の脆弱性を定量化するためのきめ細かいメトリクスを設計する。
様々なマルチホップQAベンチマークとフロンティアLSMの広範な実験により、提案したフレームワークが静的ベースラインよりも優れた攻撃効果をもたらすことが示され、より堅牢な防御フレームワークを開発する緊急の必要性が強調された。
関連論文リスト
- Stateful Cooperative Agents Safeguarding LLMs Against Evolving Multi-Turn Attacks [56.45762972211923]
マルチターン攻撃に対するLDMの安全性を確保するためのプロアクティブ・ディフェンス・フレームワークを提案する。
特殊なエージェントが補完的な防衛戦略を実行するような、協調的なマルチエージェントアーキテクチャを採用している。
マルチターン攻撃における進化戦略をシミュレートするEMRAデータセットを提案する。
論文 参考訳(メタデータ) (2026-07-31T14:04:49Z) - SafeReview: Defending LLM-based Review Systems Against Adversarial Hidden Prompts [48.74298724520065]
大規模言語モデル(LLM)は、ますます学術的ピアレビューに統合されている。
敵に対する彼らの脆弱性は、学術的完全性に対する重大な脅威として現れます。
本稿では、高度な攻撃プロンプトを作成するために訓練されたジェネレータモデルを、検出を行うデフェンダーモデルと共同で最適化する、新しい対向フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-29T10:11:12Z) - AdapTools: Adaptive Tool-based Indirect Prompt Injection Attacks on Agentic LLMs [24.71883582216731]
AdapToolsは、ステルス攻撃ツールを選択し、適応攻撃プロンプトを生成する、新しい適応IPI攻撃フレームワークである。
AdapToolsは攻撃成功率を2.13倍改善し、システムの実用性は1.78に低下する。
論文 参考訳(メタデータ) (2026-02-24T09:32:19Z) - NAAMSE: Framework for Evolutionary Security Evaluation of Agents [1.0131895986034316]
我々は,エージェントのセキュリティ評価をフィードバック駆動最適化問題として再編成する進化的フレームワークであるNAAMSEを提案する。
本システムでは,遺伝子プロンプト変異,階層的コーパス探索,非対称的行動スコアリングのライフサイクルを編成する単一自律エージェントを用いている。
Gemini 2.5 Flashの実験では、進化的突然変異がワンショットメソッドによって欠落した脆弱性を体系的に増幅することを示した。
論文 参考訳(メタデータ) (2026-02-07T06:13:02Z) - Adversarial Attack-Defense Co-Evolution for LLM Safety Alignment via Tree-Group Dual-Aware Search and Optimization [51.12422886183246]
大規模言語モデル(LLM)は、Webサービスにおいて急速に発展し、社会的リスクを増幅しつつ、前例のない能力を提供してきた。
既存の作業は、分離されたジェイルブレイク攻撃または静的防御に重点を置いており、現実世界のWebコンテキストにおける進化する脅威とセーフガードの間の動的な相互作用を無視している。
ACE-Safetyは、2つの重要な革新的手順をシームレスに統合することにより、攻撃と防御モデルを協調的に最適化する新しいフレームワークである。
論文 参考訳(メタデータ) (2025-11-24T15:23:41Z) - Genesis: Evolving Attack Strategies for LLM Web Agent Red-Teaming [45.95972813586392]
既存のレッドチーム方式は、主にオフラインでトレーニングされた手作業による攻撃戦略や静的モデルに依存している。
我々は,アタッカー,スコラー,ストラテジストの3つのモジュールからなる新しいエージェントフレームワークであるGenesisを提案する。
我々のフレームワークは、新しい戦略を発見し、既存の攻撃ベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2025-10-21T05:49:37Z) - Searching for Privacy Risks in LLM Agents via Simulation [61.229785851581504]
本稿では,プライバシクリティカルなエージェントインタラクションのシミュレーションを通じて,攻撃と防御戦略の改善を交互に行う検索ベースのフレームワークを提案する。
攻撃戦略は、直接の要求から、不正行為や同意偽造といった高度な戦術へとエスカレートする。
発見された攻撃と防御は、さまざまなシナリオやバックボーンモデルにまたがって伝達され、プライバシーに配慮したエージェントを構築するための強力な実用性を示している。
論文 参考訳(メタデータ) (2025-08-14T17:49:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。