論文の概要: Search Shapes Conclusions: Auditing Evidence Selection Bias in Deep Research Agents

• arxiv url: http://arxiv.org/abs/2609.39026v1
• Date: Wed, 30 Sep 2026 05:30:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.233738
• Title: Search Shapes Conclusions: Auditing Evidence Selection Bias in Deep Research Agents
• Title（参考訳）: 検索形態の結論:ディープリサーチエージェントにおけるエビデンス選択バイアスの検証
• Abstract要約: ディープ・リサーチ・エージェントは、証拠を引用されたレポートに合成する。 我々は、適応的証拠サンプリングとして問題を定式化し、因果証拠選択補正(CESS)を導入する。 CESSは、各候補文書の証拠方向を予測し、各候補文書を選択する確率を用いて候補プール平均を補正する。
• 参考スコア（独自算出の注目度）: 9.191868289475385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Research agents synthesize evidence into cited reports, yet a well-cited report can still reach a misleading conclusion. Citation correctness checks whether cited sources support individual claims. It does not show whether adaptive search exposed a representative view of all documents made available for evaluation, which we call the candidate pool. Early findings redirect later queries, document choices, and stopping, so the documents an agent reads form a selective sample. Existing evaluations rarely account for this selection. We formulate the problem as adaptive evidence sampling and introduce Causal Evidence Selection Correction (CESS). CESS predicts each candidate document's evidence direction and corrects the candidate-pool average using the logged probabilities of selecting each document and reaching each search round. Shrinkage stabilizes short searches, while intervals replace point estimates when some documents cannot be sampled. We also prove that estimating the average evidence direction of a common pool differs from measuring how a change in search policy alters the evidence read. The latter requires intervention. On questions from the MS2 systematic-review benchmark, CESS reduces mean absolute error against the candidate-pool average by $9.2\%$ and reduces the estimate's change under opposing document rankings by $39.4\%$ relative to averaging the evidence scores of documents read. Across trajectories from a public Open Deep Research agent, the corresponding reductions reach $60.1\%$ and $87.2\%$. A further 4,800 trajectories under paired interventions confirm that correcting a pool estimate and measuring a policy effect are different tasks. CESS therefore audits whether the evidence direction underlying a report reflects the documents available for evaluation, while a separate intervention analysis measures the effect of search decisions.
• Abstract（参考訳）: ディープ・リサーチ・エージェントは、証拠を引用されたレポートに合成する。 Citation correctnessは、引用されたソースが個々のクレームをサポートするかどうかをチェックする。 適応検索が、評価のために利用可能なすべての文書の代表的なビューを公開しているかどうかを示すものではない。 初期の発見は、後続のクエリ、ドキュメントの選択、停止をリダイレクトするため、エージェントが読むドキュメントは選択的なサンプルになる。 既存の評価はこの選択をほとんど考慮しない。 適応的エビデンスサンプリングとして問題を定式化し,CESS(Causal Evidence Selection Correction)を導入する。 CESSは、各候補文書のエビデンス方向を予測し、各文書を選択して各検索ラウンドに到達する確率を用いて、候補プール平均を補正する。 Shrinkageは短い検索を安定化し、インターバルはいくつかの文書をサンプリングできないポイント推定を置き換える。 また,共通プールの平均的エビデンス方向の推定は,検索ポリシーの変更が読み取ったエビデンスをどう変えるかを測定することと異なることを示す。 後者は介入が必要である。 MS2のシステマティックレビューベンチマークからの質問に対して、CESSは、候補プール平均に対する平均絶対誤差を9.2 %$に減らし、反対の文書ランキングの下での見積もりの変化を、読み取った証拠のスコアを平均して39.4 %$に減らした。 一般のオープンディープ・リサーチ・エージェントからのトラジェクトリ全体で、対応する削減額は60.1\%$と87.2\%$に達する。 さらに4,800の軌道は、プール推定の修正と政策効果の測定が異なることを確認している。 したがって、CESSは、レポートの根拠となる証拠の方向性が、評価に利用可能な文書を反映しているかどうかを監査し、個別の介入分析は、検索決定の効果を計測する。

関連論文リスト

• Inspire: Benchmarking Scientific Literature Search for Open Research Problems [32.85332215557839]
  INSPIREは、先行文献を検索し、解法で修正された研究問題を進行させるエージェントを評価するためのベンチマークである。 現在のエージェントは、より広範な事前作業のポートフォリオを組み立てるよりも、孤立した前駆体をより容易に回収できることを示します。 また,テスト時間情報を変更することなく,保持検索の改善を図っている。
  論文  参考訳（メタデータ） (2026-09-27T05:21:51Z)
• EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
  我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。 EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
  論文  参考訳（メタデータ） (2026-09-02T21:00:35Z)
• VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
  VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。 100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。 強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
  論文  参考訳（メタデータ） (2026-08-18T15:23:06Z)
• DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
  誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。 それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。 強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
  論文  参考訳（メタデータ） (2026-07-19T15:20:40Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。