論文の概要: Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models

• arxiv url: http://arxiv.org/abs/2503.14887v2
• Date: Fri, 06 Jun 2025 00:23:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:42.903666
• Title: Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models
• Title（参考訳）: Pseudo Relevance Feedbackは、小型と大型の検索モデル間のギャップを埋めるには十分である
• Authors: Hang Li, Xiao Wang, Bevan Koopman, Guido Zuccon,
• Abstract要約: 大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。 本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを紹介する。
• 参考スコア（独自算出の注目度）: 29.934928091542375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling dense retrievers to larger large language model (LLM) backbones has been a dominant strategy for improving their retrieval effectiveness. However, this has substantial cost implications: larger backbones require more expensive hardware (e.g. GPUs with more memory) and lead to higher indexing and querying costs (latency, energy consumption). In this paper, we challenge this paradigm by introducing PromptPRF, a feature-based pseudo-relevance feedback (PRF) framework that enables small LLM-based dense retrievers to achieve effectiveness comparable to much larger models. PromptPRF uses LLMs to extract query-independent, structured and unstructured features (e.g., entities, summaries, chain-of-thought keywords, essay) from top-ranked documents. These features are generated offline and integrated into dense query representations via prompting, enabling efficient retrieval without additional training. Unlike prior methods such as GRF, which rely on online, query-specific generation and sparse retrieval, PromptPRF decouples feedback generation from query processing and supports dense retrievers in a fully zero-shot setting. Experiments on TREC DL and BEIR benchmarks demonstrate that PromptPRF consistently improves retrieval effectiveness and offers favourable cost-effectiveness trade-offs. We further present ablation studies to understand the role of positional feedback and analyse the interplay between feature extractor size, PRF depth, and model performance. Our findings demonstrate that with effective PRF design, scaling the retriever is not always necessary, narrowing the gap between small and large models while reducing inference cost.
• Abstract（参考訳）: 大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。 より大きなバックボーンは、より高価なハードウェア(例えば、より多くのメモリを持つGPU)を必要とし、より高いインデックス化とクエリコスト(レイテンシ、エネルギー消費)をもたらす。 本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを導入することで,より大規模なモデルに匹敵する有効性を実現することで,このパラダイムに挑戦する。 PromptPRFは、クエリ非依存、構造化、構造化されていない機能(エンティティ、要約、チェーンオブシントキーワード、エッセイなど)をトップランクのドキュメントから抽出するためにLLMを使用する。 これらの機能はオフラインで生成され、プロンプトを通じて高密度なクエリ表現に統合される。 オンライン、クエリ固有の生成とスパース検索に依存するGRFのような従来の方法とは異なり、PromptPRFはクエリ処理からのフィードバック生成を分離し、完全にゼロショット設定で高密度検索をサポートする。 TREC DLとBEIRベンチマークの実験は、PromptPRFが一貫して検索効率を改善し、良好なコスト効率のトレードオフを提供することを示した。 さらに、位置フィードバックの役割を理解し、特徴抽出器サイズ、RF深度、モデル性能の相互作用を分析するためのアブレーション研究について述べる。 この結果から,効率的なRF設計では,小型モデルと大規模モデルとのギャップを狭めつつ,推論コストを低減しつつ,レトリバーのスケーリングが必ずしも必要ではないことがわかった。

関連論文リスト

• LLM-VPRF: Large Language Model Based Vector Pseudo Relevance Feedback [31.017301950179295]
  ベクトルPseudo Relevance Feedback (VPRF) はBERTに基づく高密度検索システムの改善に有望な結果を示した。 本稿では,大言語モデル(LLM)に基づく高密度検索器におけるVPRFの一般化可能性について検討する。
  論文  参考訳（メタデータ） (2025-04-02T08:02:01Z)
• Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning [76.50690734636477]
  ランキングタスクを実行する前にユーザクエリと候補文書の両方を推論する新しいLCMベースのリランカである Rank-R1 を導入する。 TREC DL と BRIGHT データセットを用いた実験により,Ranc-R1 が特に複雑なクエリに対して非常に有効であることが判明した。
  論文  参考訳（メタデータ） (2025-03-08T03:14:26Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Improving Retrieval for RAG based Question Answering Models on Financial Documents [0.046603287532620746]
  本稿では,RAGパイプラインの既存の制約について検討し,テキスト検索の方法を紹介する。 高度なチャンキングテクニック、クエリ拡張、メタデータアノテーションの組み込み、再ランク付けアルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を練っている。
  論文  参考訳（メタデータ） (2024-03-23T00:49:40Z)
• Effective Large Language Model Adaptation for Improved Grounding and Citation Generation [48.07830615309543]
  本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。 我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。 我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
  論文  参考訳（メタデータ） (2023-11-16T03:22:25Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。