論文の概要: DeepStress: Stress-Testing Deep Search Agents

• arxiv url: http://arxiv.org/abs/2607.13920v1
• Date: Wed, 15 Jul 2026 14:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.816221
• Title: DeepStress: Stress-Testing Deep Search Agents
• Title（参考訳）: DeepStress: ストレステストのDeep Searchエージェント
• Abstract要約: 本稿では,探索エージェントの検索モジュールを制御された合成環境に置き換えることで,挑戦的証拠の頻度を制御するストレステストフレームワークを提案する。 このフレームワークは、信頼性、妥当性、事実性という、ドキュメントの信頼性に影響を与える3つの次元を制御するために使われます。 エージェントは信頼できない情報を扱う能力にかなりの違いを示し、システムの結果を文書化する新しい指標を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While search agents demonstrate impressive capabilities in multi-step question answering, their robustness to poor-quality evidence remains under-explored. This phenomenon occurs rarely in realistic benchmarks but can lead to dramatic failure in real life applications. Therefore in this study we propose DeepStress, a stress testing framework that controls the frequency of challenging evidence by replacing the retrieval module of search agents with a controlled synthetic environment. We use this framework to control three dimensions that can affect document reliability: trustworthiness, relevance, and factuality. Testing several search agents on HotpotQA and BrowseCompPlus, we demonstrate that agents exhibit substantial differences in their ability to handle unreliable information and propose new metrics that better document systems outcomes as well as the interactions between conflicting parametric and retrieved knowledge.
• Abstract（参考訳）: 検索エージェントは、多段階の質問応答において印象的な能力を示しているが、その質の悪い証拠に対する頑健さは、まだ解明されていない。 この現象は現実的なベンチマークでは稀に起こるが、現実の応用では劇的な失敗につながる。 そこで本研究では,探索エージェントの検索モジュールを制御された合成環境に置き換えることで,難解な証拠の頻度を制御するストレステストフレームワークであるDeepStressを提案する。 このフレームワークは、信頼性、妥当性、事実性という、ドキュメントの信頼性に影響を与える3つの次元を制御するために使われます。 本稿では,HotpotQA と BrowseCompPlus の検索エージェントを用いて,信頼性の低い情報を扱う能力に有意な差異があることを実証し,システム結果の文書化や,パラメトリックと検索知識の相互関係について述べる。

関連論文リスト

• Mitigating Context Interference for Reliable and Efficient Search Agents [67.82705889007238]
  本研究では,マルチターンサーチエージェントにおけるコンテキスト干渉について検討する。 マルチターン検索エージェントのコンテキスト干渉を動的に緩和する蒸留方式のコンテキスト精錬器を提案する。 検索エージェントのRL訓練パイプラインにコンテキスト改善を組み込むことで,信頼性と効率性を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2026-08-11T10:00:42Z)
• Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
  ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。 本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。 我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
  論文  参考訳（メタデータ） (2026-08-03T08:46:48Z)
• MERRIN: A Benchmark for Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments [68.15682316179088]
  本稿では,検索エージェント評価のための人手によるベンチマークであるMERRIN(Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments)を紹介する。 MERRINは、関連するモダリティを特定し、マルチモーダルエビデンスを取得し、ノイズの多いWebソース上でマルチホップ推論を実行するAIエージェントの能力を測定する。 我々は,強力なクローズドソースモデルやオープンウェイトモデルを含む10種類のモデルを用いた多様な検索エージェントを評価する。
  論文  参考訳（メタデータ） (2026-04-15T02:37:47Z)
• Evaluating the Search Agent in a Parallel World [28.24678964635285]
  並列世界における検索エージェント評価フレームワークであるMind-ParaWorldを紹介する。 パラワールド・ロー・モデル(ParaWorld Law Model)は、不可分なアトミック・ファクトの集合と、各質問に対する独特な基礎構造を構築する。 評価中、現実世界の結果を取得する代わりに、エージェントはパラワールドモデルと対話する。 MPW-Benchは19のドメインと1,608のインスタンスにまたがる対話型ベンチマークです。
  論文  参考訳（メタデータ） (2026-03-05T02:56:42Z)
• iAgentBench: Benchmarking Sensemaking Capabilities of Information-Seeking Agents on High-Traffic Topics [9.25340189071758]
  iAgentBenchは,クロスソース・センスメイキングのための動的ODQAベンチマークである。 iAgentBenchは、現実世界の注目信号からシードトピックを抽出し、共通のユーザ意図パターンを使用して、ユーザライクな質問を構築する。 各インスタンスには、トレース可能なエビデンスと、汚染チェックをサポートする監査可能な中間アーティファクトが付属している。
  論文  参考訳（メタデータ） (2026-03-04T22:40:08Z)
• The Synthetic Web: Adversarially-Curated Mini-Internets for Diagnosing Epistemic Weaknesses of Language Agents [0.0]
  言語エージェントは、様々なソースから情報を検索し、閲覧し、合成するWeb対応システムとしてますます機能する。 これらの情報源は信頼できない、あるいは敵対的な内容を含むことができ、敵のランク付けに対するエージェントの堅牢性はいまだに理解されていない。 提案するSynthetic Web Benchmarkは, 何千ものハイパーリンク記事と, 信頼性と事実性に関する基礎的なラベルから構成される手続き的に生成された環境である。
  論文  参考訳（メタデータ） (2026-02-28T20:27:44Z)
• Robustness Risk of Conversational Retrieval: Identifying and Mitigating Noise Sensitivity in Qwen3-Embedding Model [27.295457728639402]
  会話設定下では、構造化された対話スタイルのノイズは不均等に検索可能になり、トップランクの検索結果に挿入される。 本稿では,検索行動の質的変化を促す軽量クエリにより,ノイズの侵入を効果的に抑制し,ランキング安定性を回復することを示す。
  論文  参考訳（メタデータ） (2026-02-03T06:37:23Z)
• Beyond Monolithic Architectures: A Multi-Agent Search and Knowledge Optimization Framework for Agentic Search [56.78490647843876]
  エージェント検索は、大規模言語モデル(LLM)が推論とツールの使用をインターリーブできるようにすることによって、複雑な情報を探すための有望なパラダイムとして登場した。 本稿では,bfM-ASKを提案する。bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK。
  論文  参考訳（メタデータ） (2026-01-08T08:13:27Z)
• AdaSearch: Balancing Parametric Knowledge and Search in Large Language Models via Reinforcement Learning [61.974530499621274]
  検索への過度な依存は、ノイズや悪意のあるコンテンツに対する不必要なコストとリスクをもたらす。 本稿では,探索を起動するか否かの判断から問題を解き放つ2段階の結果駆動型RLフレームワークを提案する。 AdaSearchは知識境界認識を大幅に改善し、不要な検索コールを削減し、タスクパフォーマンスを強く保ち、透明性と解釈可能な意思決定行動を提供する。
  論文  参考訳（メタデータ） (2025-12-18T18:50:01Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• RE-Searcher: Robust Agentic Search with Goal-oriented Planning and Self-reflection [55.125987985864896]
  環境の複雑さが脆弱な探索行動をいかに引き起こすかを定量的に分析する。 本稿では,検索エージェントRE-Searcherのインスタンス化をシンプルかつ効果的に行う手法を提案する。 この目標指向計画と自己回帰の組み合わせにより、RE-Searcherは複雑な検索環境における急激な手がかりに抵抗することができる。
  論文  参考訳（メタデータ） (2025-09-30T10:25:27Z)
• Resolving Conflicting Evidence in Automated Fact-Checking: A Study on Retrieval-Augmented LLMs [12.923119372847834]
  本稿では,ファクトチェックのためのRAGモデルを初めて体系的に評価する。 実験では、最先端のRAG手法、特にメディアソースの信頼性の違いに起因する紛争の解決において、重大な脆弱性が明らかにされている。 以上の結果から,情報源の信頼性を効果的に取り入れることで,矛盾する証拠を解決し,事実確認性能を向上させるRAGモデルの能力が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2025-05-23T11:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。