論文の概要: Route Me If You Can: A Benchmark for Query Reformulation Selection

• arxiv url: http://arxiv.org/abs/2609.14885v1
• Date: Mon, 14 Sep 2026 01:06:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.02637
• Title: Route Me If You Can: A Benchmark for Query Reformulation Selection
• Title（参考訳）: Route Me if you can: a Benchmark for Query Reformulation Selection
• Abstract要約: クエリ、ドメイン、レトリバー、モデルバックボーンに対して、単一の再構成戦略は一貫して最適ではありません。 既存の研究では、異なるリキュレータープール、レトリバー、関連信号、トレーニングラベル、評価指標を使用するため、比較が難しい。 この決定を再現的に研究するために必要な高価なアーティファクトを凍結するベンチマークであるQueryRouteを紹介します。
• 参考スコア（独自算出の注目度）: 21.59901422714961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based query reformulation can improve retrieval, but no single reformulation strategy is consistently optimal across queries, domains, retrievers, or model backbones. This creates an inference-time decision problem: ``Given an original query and a pool of candidate reformulations, which one should be issued to the retriever?''. Existing studies are hard to compare because they use different reformulator pools, retrievers, relevance signals, training labels, and evaluation metrics. We introduce QueryRoute, a benchmark that freezes the expensive artifacts needed to study this decision reproducibly: original queries, generated variants, ranked lists under multiple retrievers, retrieval scores, and per-query oracle labels. The benchmark contains 3,757 queries, 11 candidate systems, five reformulator backbones, and three retrievers across TREC DL, BEIR, and BRIGHT, yielding 619,905 retrieval outcomes. We benchmark supervised classification, routing, QPP, and LLM-as-judge selectors. Results show substantial oracle headroom over fixed reformulators, but current selectors recover only part of it; selector rankings change across retrievers, and similar mean effectiveness can hide different query-level behavior. The released artifacts and evaluation harness allow future selectors to be compared without regenerating variants, rerunning retrieval, or rebuilding judge pipelines. Code and data are available at https://github.com/haisonle001/QueryRoute
• Abstract（参考訳）: LLMベースのクエリ再構成は、検索を改善することができるが、クエリ、ドメイン、レトリバー、モデルバックボーンに対して、単一の再構成戦略は一貫して最適ではない。 これは推論時決定の問題を生み出します。 '`オリジナルのクエリと候補の再編成のプールを指定すれば、どのクエリをレトリバーに発行すべきか?'。 既存の研究では、異なるリキュレータープール、レトリバー、関連信号、トレーニングラベル、評価指標を使用するため、比較が難しい。 この決定を再現的に研究するために必要な高価なアーティファクトを凍結するベンチマークであるQueryRouteを紹介します。 ベンチマークには3,757のクエリ、11の候補システム、5のリキュレーターバックボーン、TREC DL、BEIR、BRIGHTの3つのレトリバーが含まれ、619,905の検索結果が得られた。 我々は、教師付き分類、ルーティング、QPP、LCM-as-judgeセレクタをベンチマークした。 結果は、固定されたリキュレータよりも大きなオラクルのヘッドルームを示すが、現在のセレクタはその一部だけを回復し、セレクタのランキングはレトリバー間で変化し、同様の平均効果はクエリレベルの振る舞いを隠蔽する。 リリースされたアーティファクトと評価ハーネスは、変種を再生したり、検索を再実行したり、審査パイプラインを再構築したりすることなく、将来のセレクタの比較を可能にする。 コードとデータはhttps://github.com/haisonle001/QueryRouteで公開されている。

関連論文リスト

• QO-Bench: Diagnosing Query-Operator-Preserving Retrieval over Typed Event Tuples [3.4933579621415576]
  本稿では,QO-Benchという,型付きイベントに対するクエリ操作型質問応答の診断ベンチマークを紹介する。 ベンチマークでは、22,984のニュース記事と18のクエリテンプレートにわたる614の企業イベントをカバーし、785の質問で評価されている。
  論文  参考訳（メタデータ） (2026-06-03T09:14:43Z)
• Can QPP Choose the Right Query Variant? Evaluating Query Variant Selection for RAG Pipelines [48.34524144147475]
  LLM(Large Language Models)は、現代の検索やRAG(Retrieval-Augmented Generation)パイプラインにおいて、クエリ再構成を至るところで実現している。 本稿では、アドホック検索とエンドツーエンドRAGをまたいで、クエリ性能予測(QPP)を異種選択のメカニズムとして検討する。
  論文  参考訳（メタデータ） (2026-04-24T15:36:40Z)
• R$^3$AG: Retriever Routing for Retrieval-Augmented Generation [59.47703698994575]
  R$3$AGは、検索機能を2つの学習可能なディメンション、すなわち検索品質と生成ユーティリティに分解する。 R$3$AGは、最高の個々のレトリバーと最先端の静的ルーティングメソッドの両方を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-22T06:51:20Z)
• LTRR: Learning To Rank Retrievers for LLMs [53.285436927963865]
  ルーティングベースのRAGシステムは、単一リトリバーベースのシステムよりも優れていることを示す。 パフォーマンス向上は、特にAnswer Correctness(AC)メトリックでトレーニングされたモデルで顕著である。 SIGIR 2025 LiveRAG チャレンジの一環として,提案システムを用いて提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-16T17:53:18Z)
• Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation [23.74712435991676]
  RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成する言語モデルを最適化するように設計されている。 我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。 その結果,2つのベンチマークにおいて,従来のリライト・ザ・リトリーブ・アプローチの最先端性能を上回る優位性を示した。
  論文  参考訳（メタデータ） (2024-02-19T04:41:31Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
  本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。 AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。 これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
  論文  参考訳（メタデータ） (2021-10-07T16:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。