論文の概要: Are LLM-Based Retrievers Worth Their Cost? An Empirical Study of Efficiency, Robustness, and Reasoning Overhead
- arxiv url: http://arxiv.org/abs/2604.03676v1
- Date: Sat, 04 Apr 2026 10:24:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.717428
- Title: Are LLM-Based Retrievers Worth Their Cost? An Empirical Study of Efficiency, Robustness, and Reasoning Overhead
- Title（参考訳）: LLMをベースとしたレトリバーのコストは高いか? -効率性、ロバスト性、推論オーバーヘッドに関する実証的研究-
- Authors: Abdelrahman Abdallah, Jamie Holdcroft, Mohammed Ali, Adam Jatowt,
- Abstract要約: 我々は12のタスクと14のレトリバーにわたる推論集約型検索ベンチマーク(BRIGHT)を再現する。
我々は、コールドスタートインデクシングコスト、クエリ待ち時間分布、スループットによる評価を拡張した。
スループットの競争力を維持しながら,いくつかの推論特化レトリバーが高い有効性を実現していることがわかった。
- 参考スコア（独自算出の注目度）: 20.897837226246367
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model retrievers improve performance on complex queries, but their practical value depends on efficiency, robustness, and reliable confidence signals in addition to accuracy. We reproduce a reasoning-intensive retrieval benchmark (BRIGHT) across 12 tasks and 14 retrievers, and extend evaluation with cold-start indexing cost, query latency distributions and throughput, corpus scaling, robustness to controlled query perturbations, and confidence use (AUROC) for predicting query success. We also quantify \emph{reasoning overhead} by comparing standard queries to five provided reasoning-augmented variants, measuring accuracy gains relative to added latency. We find that some reasoning-specialized retrievers achieve strong effectiveness while remaining competitive in throughput, whereas several large LLM-based bi-encoders incur substantial latency for modest gains. Reasoning augmentation incurs minimal latency for sub-1B encoders but exhibits diminishing returns for top retrievers and may reduce performance on formal math/code domains. Confidence calibration is consistently weak across model families, indicating that raw retrieval scores are unreliable for downstream routing without additional calibration. We release all code and artifacts for reproducibility.
- Abstract（参考訳）: 大規模言語モデルレトリバーは複雑なクエリのパフォーマンスを向上させるが、その実用的価値は正確性に加えて効率、堅牢性、信頼性の高い信号に依存する。
我々は12のタスクと14のレトリバーにわたる推論集約型検索ベンチマーク(BRIGHT)を再現し、コールドスタートインデクシングコスト、クエリ待ち時間分布とスループット、コーパススケーリング、制御されたクエリ摂動に対する堅牢性、クエリ成功を予測するための信頼性利用(AUROC)による評価を拡張した。
また、標準クエリを、追加のレイテンシと比較して精度が向上する5種類の推論拡張型と比較することにより、 \emph{reasoning overhead} を定量化する。
一方,LLMをベースとした大規模バイエンコーダでは,低速化にはかなりの遅延が生じる。
Reasoning aasonmentationは、sub-1Bエンコーダのレイテンシを最小化するが、トップレトリバーのリターンが低下し、フォーマルな数学/コードドメインのパフォーマンスが低下する可能性がある。
信頼度キャリブレーションはモデルファミリ間で一貫して弱く、余分なキャリブレーションを伴わない下流ルーティングでは生の検索スコアが信頼できないことを示す。
すべてのコードとアーティファクトを再現性のためにリリースします。
関連論文リスト
- Completing Missing Annotation: Multi-Agent Debate for Accurate and Scalable Relevant Assessment for IR Benchmarks [31.017987800426894]
DREAMはLLMエージェントを用いた多段階の議論に基づく関連性評価フレームワークである。
95.2%の精度で、人間の3.5%しか関与していない。
BRIDGEは評価バイアスを緩和し、より公平なレトリバー比較を可能にする改良されたベンチマークである。
論文 参考訳（メタデータ） (2026-02-06T09:27:03Z) - CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。
既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。
機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文 参考訳（メタデータ） (2026-01-30T10:33:29Z) - Rerank Before You Reason: Analyzing Reranking Tradeoffs through Effective Token Cost in Deep Search Agents [50.212640395029744]
深層探索パイプラインにおける推論予算の配分について検討する。
BrowseComp-Plusベンチマークを用いて、モデルスケール、推論の労力、深度の再検討、トークン総コストのトレードオフを分析する。
論文 参考訳（メタデータ） (2026-01-20T18:38:35Z) - Your Dense Retriever is Secretly an Expeditious Reasoner [12.123445960145693]
本稿では,ハイブリッドクエリ書き換えフレームワークであるAdaptive Query Reasoning (AdaQR)を提案する。
AdaQRは推論コストを28%削減し、保存または検索パフォーマンスを7%向上させる。
論文 参考訳（メタデータ） (2025-09-27T16:50:03Z) - Self-Aligned Reward: Towards Effective and Efficient Reasoners [16.740993145927774]
自己整合報酬 (Self-aligned reward, SAR) は、検証可能な報酬を補完し、推論精度と効率の両方を奨励する自己誘導信号である。
SARは, 正確さ, 正解スコアが冗長性よりも高く, 正解スコアが完全誤解よりも高いという, 解答品質を確実に区別することを示す。
論文 参考訳（メタデータ） (2025-09-05T20:39:43Z) - Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination [67.67725938962798]
大規模なWebスケールコーパスの事前トレーニングは、広く使用されているベンチマークでデータ汚染の影響を受けやすいQwen2.5が残る。
我々はRandomCalculationと呼ばれる任意の長さと難易度を持つ完全クリーンな算術問題を生成するジェネレータを導入する。
精度の高い報酬信号のみがベースモデルの性能境界を超える安定した改善をもたらすことを示す。
論文 参考訳（メタデータ） (2025-07-14T17:55:15Z) - Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models [29.934928091542375]
大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。
本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを紹介する。
論文 参考訳（メタデータ） (2025-03-19T04:30:20Z) - Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。
1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。
我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
論文 参考訳（メタデータ） (2025-02-06T18:59:11Z) - An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。
我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。
我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
論文 参考訳（メタデータ） (2024-11-08T12:08:17Z) - Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers [7.976154147999298]
推測のないスパースモデルは 検索の関連という点で はるかに遅れています スパースモデルと密集したサイムズモデルの両方と比較して
性能改善のための2つのアプローチを提案する。
まず,IDFトークンの寄与を抑えるマッチング関数に対するIDF対応ペナルティを提案する。
第2に,シロイヌナズナと疎水性レトリーバーを組み合わせたヘテロジニアスアンサンブル知識蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-07T03:46:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。