論文の概要: Per-Query Gating of LLM Rerankers for Multi-Hop Retrieval
- arxiv url: http://arxiv.org/abs/2609.22880v1
- Date: Sat, 19 Sep 2026 08:35:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.5793
- Title: Per-Query Gating of LLM Rerankers for Multi-Hop Retrieval
- Title（参考訳）: マルチホップ検索のためのLLMリランカのクエリごとのゲーティング
- Abstract要約: 学習したクエリごとのゲートがリランカをスキップでき、それが役に立たないことを示す。
2WikiMultiHopQA、MuSiQue、HotpotQAの9つのセルで、平均的なLastHop@Kコスト1.2ppで51%の通話をスキップする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM rerankers add of the order of \$0.2-0.3 per 1,000 queries and about a second of tail latency on top of a graph-augmented dense pipeline such as HippoRAG2, and on three multi-hop benchmarks they improve final-hop top-K coverage on seven of nine (dataset, K) cells, by up to +34.8 pp. We ask whether a learned per-query gate can skip the reranker where it will not help, using only features available before the LLM call (27 score and lexical statistics of the two retrieval lists plus a PCA of a small query embedding) with an executable fallback. Every choice, including the fallback and the threshold, is made inside the training fold and applied once to held-out queries, and harmful skips (the rerank would have found the target, the fallback did not) are reported next to the aggregate coverage. Across nine cells on 2WikiMultiHopQA, MuSiQue and HotpotQA the gate skips 51% of calls at an average held-out LastHop@K cost of 1.2 pp; four cells meet a pre-registered 1 pp rule, harmful skips occur in eight (190 harmful against 136 beneficial), and a random gate at the same skip rate loses 2 to 11 pp on the high-lift cells. A second rule sets each cell's threshold from a pre-specified budget on the expected harmful-skip rate over Platt-calibrated harm probabilities (ECE 0.025 after calibration, 0.094 before): at a 1 pp budget the gate skips 42% at -0.8 pp with 66 harmful skips and six cells within 1 pp, but realised harm exceeds the promise in six cells (mean 1.45 vs 0.83 pp), a selection optimism we quantify; a 0.5 pp budget realises about 1 pp. The harm probabilities are calibrated but barely discriminative (AUC 0.16 to 0.70). An earlier version reported 73% "lossless" savings; that figure rested on an oracle fallback and a wrong MuSiQue target, and we document both.
- Abstract（参考訳）: LLMリランカは、1000クエリに対して0.2-0.3ドル、HippoRAG2のようなグラフ強化された高密度パイプライン上でのテールレイテンシの約1秒の順序を追加し、3つのマルチホップベンチマークでは、9つの(データセット、K)セルのうち7つのファイナルホップトップKカバレッジを、最大+34.8ppで改善した。
LLMコールの前に利用可能な機能(2つの検索リストの27のスコアと語彙統計に加えて、小さなクエリ埋め込みのPCA)のみを実行可能なフォールバックで使用して、学習したクエリごとのゲートがリランカをスキップできるかどうかを問う。
フォールバックとしきい値を含むすべての選択は、トレーニングフォルダ内で行われ、一度保持されたクエリに適用される。
2WikiMultiHopQA、MuSiQue、HotpotQAの9つのセルで、ゲートは平均で51%のコールをスキップし、LastHop@Kコストは1.2ppで、4つのセルは事前登録された1ppルールを満たす。
第2のルールでは、各セルの閾値を、プラッツ校正された有害確率に対する予測有害スキップ率(キャリブレーション後のECE 0.025、前は0.094)の所定の予算から設定する:1ppの予算では、ゲートのスキップは-0.8 ppで42%、66個の有害スキップと6つのセルで1pp以内で42%、現実の害は6つのセルでの約束を超える(平均1.45対0.83 pp)。
危害確率は校正されるが、ほとんど差別的ではない(AUC 0.16 - 0.70)。
以前のバージョンでは73%の節約が報告されており、その数字はオラクルのフォールバックと間違ったMuSiQueターゲットに当てはまり、両方を文書化しています。
関連論文リスト
- CAROL: Context-Aware Online Learning for Fuzzer Scheduling [30.06459480586687]
アンサンブルファズリングはターゲット上で複数のファズーを動作させ、スケジューラはそれらの間のCPU時間を割り当てる。
本稿では,各ファザの現在の状況を利用したオンラインスケジューラCAROLを紹介する。
CAROLは、結果が異なるたびに3つのアンサンブルスケジューリングベースラインのそれぞれよりもユニークなバグをトリガーする。
論文 参考訳（メタデータ） (2026-09-06T18:24:28Z) - Beyond Imitation: Self-Improving Robot Policies via Off-Policy Q-Planning [38.9012588400004]
BC(Behaviour Cloning)は、ロボット操作において顕著な進歩を導いてきたが、自己改善能力の欠如によって制限されている。
本稿では,Q-Planningを提案する。このQ-Planningは,バイスモータBCの政策と,政治以外のQ-関数を併せ持つ。
我々は、この非対称性を利用して、推論およびオンライン自己改善における価値誘導行動選択を可能にする。
論文 参考訳（メタデータ） (2026-08-21T15:18:37Z) - LLMs Can Predict Failure Risk, But Struggle to Predict Which Collaboration Protocol Pays Off: Cost-Aware Protocol Routing Across Reasoning Tasks [3.789882665982407]
マルチエージェント大規模言語モデル(LLM)システムは、より多くの計算に費やして推論を改善することができる。
この決定は、各設定内に固定されたソルバを保持しながら、すべての問題を4つのプロトコルで実行することで分離する。
論文 参考訳（メタデータ） (2026-08-14T22:35:37Z) - When Is an LLM Worth It for Hyperparameter Optimization? A Budget-Matched Study on Tabular Data Finds the Warm-Start Is a Default Configuration, Not the Model [0.0]
大規模言語モデル(LLM)は、事前知識から"ウォームスタート"検索を行うハイパーパラメータ最適化(HPO)アドバイザとして提案されている。
8つのPMLBベンチマークで、予算に適合したマルチシーズプロトコルで、この主張を検証します。
論文 参考訳（メタデータ） (2026-06-19T17:52:36Z) - Quality Is Not a Safety Proxy Under Quantization [0.0]
量子化されたチェックポイントは、まず最初に品質メトリクスでスクリーニングされる。
本稿では,51列行列のショートカットが6モデル,4ファミリー,7レベルGGUFラグ,AWQ/GPTQ INT4チェックポイントにまたがっていることを確認した。
モデル間の36種類の品質安全ペアリングはいずれも分割され、9つの隠れダンガー列と1つの隠れダンガー列は品質が安定または改善され、リフレクションは12-68ポイント低下した。
論文 参考訳（メタデータ） (2026-06-08T20:33:49Z) - ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。
DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
論文 参考訳（メタデータ） (2026-05-28T12:40:22Z) - Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection [0.0]
マルチエージェントの議論は事実と推論を改善するが、ほとんどのレシピは固定されたラウンドカウントを選択する。
我々は,LLM討論のプラグイン計算として,Wald's Sequential Probability Ratio Test (SPRT)を適用した。
GSM8Kでは、ルールは1.01ラウンド(4.06 LLMコール)で97.0%の精度で終了するが、15回のコールで固定5の討論では99.0%の精度で終了する。
MMLUでは、キャリブレーションされたKLは約0に崩壊し、ルール上限は2.1倍のコストで99.5%となる。
論文 参考訳（メタデータ） (2026-05-18T23:43:12Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。
本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
論文 参考訳（メタデータ） (2026-05-07T06:31:34Z) - RPMS: Enhancing LLM-Based Embodied Planning through Rule-Augmented Memory Synergy [34.723296971298424]
LLMエージェントは、厳密な前提条件を満たす必要があるため、クローズドワールドの実施環境で失敗することが多い。
P1) 無効な動作生成と(P2) 状態ドリフトの2つの構造的結合型障害モードを同定する。
本稿では、構造化ルール検索によるアクション実現性を強制する、コンフリクト管理アーキテクチャRPMSを提案する。
論文 参考訳（メタデータ） (2026-03-18T15:26:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。