論文の概要: Evaluating Deep-Search Agents under Hierarchical Web Evidence Poisoning
- arxiv url: http://arxiv.org/abs/2609.06027v1
- Date: Sat, 05 Sep 2026 11:05:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.182426
- Title: Evaluating Deep-Search Agents under Hierarchical Web Evidence Poisoning
- Title（参考訳）: 階層型Webエビデンス中毒におけるディープサーチエージェントの評価
- Abstract要約: 既存のベンチマークは、操作されたコンテンツが検索されるか、支持されるかを主に測定するが、エージェントが不審な証拠を検証しているかどうかは追跡しない。
HAE-GEO(英語版)は、より説得力のあるWeb毒の曝露から回復までの全軌道を追跡するベンチマークである。
相関トラップ下でのエビデンス認識は劣化し,エージェント検索はエビデンス認識やユーティリティを改善することなく最終抵抗を改善する。
- 参考スコア（独自算出の注目度）: 11.515416346399064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Search-augmented LLM agents are increasingly used for consumer decisions, making them vulnerable to Generative Engine Optimization (GEO) poisoning. Existing benchmarks largely measure whether manipulated content is retrieved or endorsed, but do not track whether an agent verifies suspicious evidence, revises adopted claims, or recovers before producing its final recommendation. We introduce HAE-GEO, a benchmark that tracks the full trajectory from exposure to recovery under progressively more persuasive Web poisoning. Agents interact via a multi-turn Search-Scrape interface across three attack levels (L1 direct assertion, L2 contextual camouflage, and L3 apparent corroboration), supported by a controlled corpus of 72,039 clean pages and 770 poisoned pages per level spanning 8 product categories and 154 brands. Evaluation combines deterministic behavioral measures with six semantic rubric dimensions. Evaluating 10 agents, we find three recurring patterns: evidence recognition degrades under the corroboration trap; agentic search improves final resistance without improving evidence recognition or utility; and defense prompting increases verification, yet rarely converts verification into recovery.
- Abstract（参考訳）: 検索強化されたLLMエージェントは、消費者の判断にますます使われており、ジェネレーティブエンジン最適化(GEO)中毒に弱い。
既存のベンチマークは、操作されたコンテンツが検索されるか、支持されるかを主に測定するが、エージェントが疑わしい証拠を確認し、採用されたクレームを修正し、最終勧告を出す前に回復するかどうかを追跡できない。
HAE-GEO(英語版)は、より説得力のあるWeb毒の曝露から回復までの全軌道を追跡するベンチマークである。
エージェントは3つの攻撃レベル(L1ダイレクトアサーション、L2コンテキストカモフラージュ、L3明確なコロンボレーション)にわたるマルチターン検索・スクレイプインターフェースを介して対話する。
評価は決定論的行動尺度と6つの意味論的ルーブル次元を組み合わせたものである。
エージェントを10個評価すると,クローボレーショントラップ下でのエビデンス認識の劣化,エージェントサーチによる最終抵抗の改善によるエビデンス認識や実用性の向上,防御促進による検証の促進,そして,検証を回復に変換することは稀である。
関連論文リスト
- Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection [0.0]
本稿では,検索境界ディフェンスを用いた3層マルチエージェント侵入検出フレームワークであるRAG-IDSを提案する。
即時注入では、複数文書検索ではラベルフリップが0.6-2.4%に制限され、シングルドキュメント検索では35-55%に制限された。
論文 参考訳（メタデータ） (2026-08-08T12:29:47Z) - Breadcrumbing Search Agents [118.20284823674382]
LLMベースの検索エージェントは情報検索タスクに広く利用されているが、外部ツールへの依存度は重大なセキュリティリスクをもたらす。
検索およびページ観察を行うチャネルは脆弱なセキュリティ境界であることを示す。
制約付きツール仲介脅威モデルの下では、クエリ毎に1つのコントロールされた結果のみを追加することで、攻撃の成功を大幅に増加させることができる。
論文 参考訳（メタデータ） (2026-08-05T07:57:27Z) - Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。
本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。
我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
論文 参考訳（メタデータ） (2026-08-03T08:46:48Z) - Perception, Verdict, and Evolution: Hindsight-Driven Self-Refining Forensics Agent for AI-Generated Image Detection [80.15317858033534]
ForeAgentは、反復的な自己進化を伴うAI生成画像検出のためのエージェント法医学フレームワークである。
ForeAgentはChameleonベンチマークで最先端のパフォーマンスを達成し、精度は82.18%に達した。
ForeAgent は GPT-5 や GPT-5-mini と比較して、より一貫性があり、因果的な推論をもたらす。
論文 参考訳（メタデータ） (2026-06-25T02:59:33Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - TRUST Agents: A Collaborative Multi-Agent Framework for Fake News Detection, Explainable Verification, and Logic-Aware Claim Reasoning [0.0]
TRUST Agentsは、説明可能な事実検証と偽ニュース検出のためのフレームワークである。
検証可能なクレームを特定し、関連する証拠を検索し、その証拠に対するクレームと不確実性のある理由を比較し、人間が検査できる説明を生成する。
複雑なクレームをより効果的に処理するために、LoCalスタイルのクレーム分解にインスパイアされたデコンプザエージェント、特殊検証者ペルソナを備えたデルフィインスパイアされたマルチエージェント陪審、論理アグリゲータを導入する。
論文 参考訳（メタデータ） (2026-04-14T01:31:14Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Securing AI Agents Against Prompt Injection Attacks [0.0]
本稿では,RAG対応AIエージェントのインジェクションリスク評価のためのベンチマークを提案する。
本フレームワークは,攻撃速度を73.2%から8.7%に削減し,94.3%のベースラインタスク性能を維持した。
論文 参考訳（メタデータ） (2025-11-19T10:00:54Z) - CAMOUFLAGE: Exploiting Misinformation Detection Systems Through LLM-driven Adversarial Claim Transformation [4.02943411607022]
既存のブラックボックステキストベースの敵攻撃は、証拠に基づく誤情報検出システムには不適である。
本稿では,2エージェントシステムを用いた反復的LCM駆動型アプローチであるCAMOUFLAGEについて述べる。
最近の2つの学術システムと2つの実世界のAPIを含む4つのシステムでCAMOUFLAGEを評価し、平均的な攻撃成功率は46.92%である。
論文 参考訳（メタデータ） (2025-05-03T19:14:24Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳（メタデータ） (2023-10-18T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。