論文の概要: Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-Step Agentic Search
- arxiv url: http://arxiv.org/abs/2607.15253v1
- Date: Thu, 16 Jul 2026 17:48:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.200603
- Title: Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-Step Agentic Search
- Title(参考訳): ブリッジエビデンス:マルチステップエージェントサーチにおける静的検索ユーティリティは因果的ユーティリティを予測しない
- Abstract要約: 検索システムは、有用性の静的なアイデアに基づいて訓練され、評価される。
言語モデルが検索エージェントとして機能し、いくつかのクエリを発行し、ターンにまたがる推論を行うとき、それは壊れる。
私たちは1000の開発質問をリプレイし、エージェントが読んだすべてのドキュメントに対して、それを削除し、その時点から残りのトラジェクトリを再実行します。
- 参考スコア(独自算出の注目度): 3.976291254896486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval systems are trained and evaluated on a static idea of usefulness: hand a document and a question to a reader model, see whether the answer improves, and score the document accordingly. The idea holds up when a document is read on its own. It breaks when a language model works as a search agent, issuing several queries and reasoning across turns, because a document can matter for what it lets the agent do next rather than for what it says about the current question. We measure that gap rather than argue it. Using a ReAct style agent over HotpotQA, we replay 1000 development questions and, for every document the agent read, delete it and re-run the rest of the trajectory from that point. Comparing the original run against its counterfactual gives a Counterfactual Trajectory Utility (CTU) score from three deltas: final answer quality, next query retrieval quality, and turn count. Crossing CTU against Static RAG Utility (SRU) over 23,322 document observations, the two are close to statistically independent (Spearman rho = -0.026). Roughly a third of the documents the agent reads are causally load bearing while looking useless to a static reader; we call these bridge documents. The pattern survives when the reader based axis is swapped for a BM25 and cross encoder proxy, giving a bridge cell of 27.2% on an evenly spread axis. A second experiment pins down the mechanism. Using the Observable Entity Relevance (OER) measure from prior work, entities that discriminate relevant from non-relevant candidates appear in the agent's next query 4.02 times more often than entities found only in non-relevant documents (6.1% vs 1.5%, n = 227,139). A bridge document earns its keep by handing the agent a discriminative entity that redirects the search. Static relevance and causal usefulness are different quantities in agentic retrieval, and optimizing the first does not deliver the second.
- Abstract(参考訳): 検索システムは、ドキュメントと質問を読者モデルに渡し、回答が改善するかどうかを確認し、それに応じて文書をスコアする。
ドキュメントをそれ自体で読むと、そのアイデアは成り立ちます。
言語モデルが検索エージェントとして機能し、いくつかのクエリを発行し、ターンをまたがる推論を行うとき、それは、ドキュメントがエージェントが現在の質問について何を言っているかではなく、次に何をするかに関係があるためである。
私たちは議論するよりもむしろそのギャップを測る。
HotpotQA上でReActスタイルのエージェントを使用して、1000の開発質問を再生し、エージェントが読んだすべてのドキュメントに対して、それを削除し、その時点から残りのトラジェクトリを再実行します。
もともとの反現実的実行と比較すると、CTU(Counterfactual Trajectory Utility)のスコアは、最終回答品質、次のクエリ検索品質、ターンカウントの3つのデルタから得られる。
静的RAGユーティリティ(SRU)に対して23,322の文書観測を行い、両者は統計的に独立に近い(Spearman rho = -0.026)。
エージェントが読み込みするドキュメントの約3分の1は、静的リーダに役に立たないように見えながら、因果的にロードベアリングである。
このパターンは、読み手ベースの軸がBM25とクロスエンコーダプロキシに切り替わるときに生き残り、均等に拡がった軸に27.2%のブリッジセルを与える。
第2の実験がメカニズムをピン留めします。
OER(Observable Entity Relevance)測度を用いて、非関連候補と関係のあるエンティティがエージェントの次のクエリに現れ、非関連文書でのみ見られるエンティティ(6.1%対1.5%、n = 227,139)より4.02倍頻繁に現れる。
ブリッジ文書は、エージェントに検索をリダイレクトする識別エンティティを渡すことにより、その保持を得る。
静的な関連性と因果的有用性はエージェント検索において異なる量であり、第1の最適化は第2の方法を提供しない。
関連論文リスト
- VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳(メタデータ) (2026-08-18T15:23:06Z) - Beyond Top-K: Replacing Black-Box Retrieval with Interpretable Agentic Operations [0.0]
長いドキュメントに対する検索拡張生成は、テキストをチャンクし、チャンクを埋め、クエリの最も近い隣人にサーフェスする、という1つの設計によって支配されている。
我々は、財務報告、監査報告、規制リターンといった重要な文書のクラスにとって、この設計は構造的に不正確であると主張する。
本稿では,READ(Reliable Embedding-free Agentic Document-search)を提案する。
論文 参考訳(メタデータ) (2026-08-06T17:23:13Z) - Fetch-then-Explore: Decoupling Selection from Extraction over a Persistent Workspace for Search Agents [60.97609995940902]
検索エージェントに対して textbfFetch-then-Explore を提案する。
ページ選択とエビデンス抽出を分離し、選択したものを保持する。
これは、すべてのバックボーンでBrowseCompの精度を導き、一般的にWideSearchのベースラインと一致するか、超える。
論文 参考訳(メタデータ) (2026-08-03T11:58:21Z) - Is Progressive Disclosure All You Need for Long-Context Agents? [6.214989743502112]
Agentic AIはより広範な選択肢を提案し、エージェントにドキュメントパスを与え、読み方と読み方を決定する。
Agent Skills – エージェントに専門知識をパッケージングするための標準で、要求に応じてロードし、プログレッシブ開示という、準備の整ったメカニズムを提供する。
原文書ナビゲーションとエージェントスキルパックのいくつかの設計を古典的ハイブリッドレトリバーと比較し,このパターンを初めて制御した研究を行った。
論文 参考訳(メタデータ) (2026-07-20T06:35:32Z) - Progressive Disclosure for LLM-Maintained Wiki Knowledge Bases: a Preregistered Ablation [0.0]
4つのコーパスの4つのバージョンは、エージェントがどのようにコンテンツに到達するかにのみ異なる、事前登録されたアブレーションを実行する。
私たちは、家族横断の裁判官で検証された金の基準に対して盲目で答える。
この研究は、評価の妥当性に関するケーススタディとして、それを作成したツールに脅威と妥当性の規律を適用した。
論文 参考訳(メタデータ) (2026-07-06T01:03:27Z) - Constrained Dominant Sets for Multimodal Document Question Answering [6.071121358322323]
長いマルチモーダルな文書質問応答は、取得された量よりも、証拠が読み手に届く程度に制限される。
この研究は、クエリ拡張親和性グラフ上の制約付き支配セットとしてエビデンスを選択するレトリバーを導入する。
論文 参考訳(メタデータ) (2026-06-05T13:24:46Z) - Improving Document Retrieval Coherence for Semantically Equivalent Queries [63.97649988164166]
同じ文書を検索する際のモデルのコヒーレンスを改善する訓練DRにおける多段階ランク付け損失のバリエーションを提案する。
この損失は、多様だがセマンティックな等価なクエリのために検索されたトップkランクのドキュメント間の不一致を罰する。
論文 参考訳(メタデータ) (2025-08-11T13:34:59Z) - Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。
我々は、Dragon+やContrieverのようなリトリーバーに対する、短いドキュメントの好みなどのバイアスの影響を定量化する。
私たちは大きな脆弱性を発見し、リトリバーが短いドキュメント、早い位置、繰り返しのエンティティ、リテラルマッチを好んで、答えの存在を無視しながら表示します。
論文 参考訳(メタデータ) (2025-03-06T23:23:13Z) - DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。
State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。
提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
論文 参考訳(メタデータ) (2023-05-23T10:39:57Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。