論文の概要: Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration

• arxiv url: http://arxiv.org/abs/2608.20357v1
• Date: Wed, 17 Jun 2026 13:16:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.280418
• Title: Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration
• Title（参考訳）: Clarify-Then-Search: End-to-End Nugget Restorationを用いたディープサーチのための明確化ベンチマーク
• Abstract要約: 我々は,LLM生成の解明質問が下流の深層探索ユーティリティを改善するかどうかを評価するベンチマークであるClarify-Then-Searchを紹介する。 Baidu検索エンジンの実際のクエリデータに基づいて構築されたこのベンチマークには、518のキュレートされたインスタンスが含まれている。 静的な金に対して部分的にクレジットされた重み付きナゲット・リコールスコアであるrepure_score_100を用いて、エンドツーエンドのユーティリティをスコアする。
• 参考スコア（独自算出の注目度）: 66.89521868638815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep search is brittle on underspecified user queries: missing constraints such as time, location, scope, or definitions can lead to retrieval drift and incomplete answers. We introduce Clarify-Then-Search, a benchmark for evaluating whether LLM-generated clarification questions improve downstream deep-search utility. Built on real-world query data from the Baidu search engine, the benchmark contains 518 curated instances, each with an intent query and a corresponding underspecified query. For each intent query, we run WebDancer once to archive evidence and construct a static golden reference as weighted, evidence-grounded nuggets with traceable source identifiers. At evaluation time, a Clarifier asks k in {1, 2, 3} questions; a closed-book User Answerer replies only with information explicitly stated in the intent query, otherwise returning unknown; and a closed-book Rewriter produces a rewritten query using only the underspecified query and the elicited question-answer pairs. WebDancer then executes on the rewritten query, and we score end-to-end utility using restore_score_100, a weighted nugget-recall score with partial credit against the static gold. Across all evaluated models, clarification improves over the no-interaction baseline at k=1, and larger budgets generally yield further gains. GPT-5.2 achieves the highest mean score at k=1, while ERNIE-4.5-Turbo-128K becomes the overall top-performing model at k=3. Diagnostics reveal a consistent failure mode: many systems over-ask region-only questions that are often unanswerable from the intent and thus elicit unknown. Clarify-Then-Search enables leakage-resistant and reproducible evaluation of clarify-then-search pipelines, with fine-grained analyses of question utility, answerability, and budget effects in deep search.
• Abstract（参考訳）: 時間、場所、スコープ、定義などの制約が欠けているため、検索のドリフトや不完全な回答につながる可能性がある。 我々は,LLM生成の解明質問が下流の深層探索ユーティリティを改善するかどうかを評価するベンチマークであるClarify-Then-Searchを紹介する。 Baidu検索エンジンの実際のクエリデータに基づいて構築されたこのベンチマークには、518のキュレートされたインスタンスが含まれており、それぞれにインテントクエリと、それに対応する未特定クエリが含まれている。 各インテントクエリに対して、WebDancerを一度実行し、証拠をアーカイブし、トレーサブルなソース識別子を持つ重み付きエビデンス付きナゲットとして静的なゴールデンリファレンスを構築する。 評価時に Clarifier は {1, 2, 3} の質問で k を問う; クローズドブックの User Answerer はインテントクエリで明示的に記載された情報のみを返信し、そうでなければ未知を返す; クローズドブックの Rewriter は、未特定のクエリと抽出された質問-回答ペアのみを使用して書き換えたクエリを生成する。 WebDancerは書き直されたクエリで実行され、静的な金に対して部分的にクレジットされた重み付けされたnugget-recallスコアであるrepure_score_100を使ってエンドツーエンドユーティリティをスコアします。 全ての評価モデルにおいて、k=1の非相互作用ベースラインよりも明確化が向上し、より大きな予算が一般的にさらに利益を得る。 GPT-5.2はk=1で最高スコア、ERNIE-4.5-Turbo-128Kはk=3で最高スコアとなる。 診断では、一貫した障害モードが示される: 多くのシステムは、領域のみをオーバーアクセスする。 Clarify-Then-Searchは, 解答性, 解答性, 深部探索における予算効果のきめ細かい分析により, 解答探索パイプラインの漏れ耐性と再現性の評価を可能にする。

関連論文リスト

• Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems [7.440012812118169]
  RAGシステムは通常、固定数の文書を基底生成に検索する。 単純なクエリは過剰検索(ノイズとコストを追加する)に悩まされ、複雑なクエリは未検索である。 本稿では,クエリ適応検索のための実用的,汎用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-11T19:57:12Z)
• SearchAtlas: Analyzing Agentic Search Strategies via Evidential Query Graphs [30.494397052362384]
  本稿では,検索トラジェクトリを構造化グラフに変換するフレームワークであるSearchAtlasを紹介する。 我々の自動解析パイプラインは、人間の注釈付きグラフに対して86.4%の平均エッジF1を達成する。 我々は3つのベンチマークで5つの検索エージェントを分析し、検索尺度とエビデンスアグリゲーションの体系的な違いを明らかにした。
  論文  参考訳（メタデータ） (2026-09-09T23:09:26Z)
• EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
  我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。 EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
  論文  参考訳（メタデータ） (2026-09-02T21:00:35Z)
• LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know? [32.434901767447165]
  LLMベースの検索エージェントは、外部の証拠よりも本質的な知識に依存している。 LiveBrowseCompは、固有のカバレッジ以上のエージェントを評価するために設計されたベンチマークである。 評価されたすべてのエージェントは、クローズドブックの精度を2%以下に抑え、検索強化されたスコアは、BrowseCompと比較して25～40ポイント減少し、以前のモデルランキングは、もはやパフォーマンスを確実に予測することができない。
  論文  参考訳（メタデータ） (2026-05-27T16:39:57Z)
• Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
  ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。 我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。 BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
  論文  参考訳（メタデータ） (2025-09-08T10:58:42Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。