論文の概要: Dynamic Ranked List Truncation for Reranking Pipelines via LLM-generated Reference-Documents
- arxiv url: http://arxiv.org/abs/2604.09492v1
- Date: Fri, 10 Apr 2026 16:59:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-13 17:57:53.971766
- Title: Dynamic Ranked List Truncation for Reranking Pipelines via LLM-generated Reference-Documents
- Title(参考訳): LLM生成レファレンスドキュメンテーションによるパイプライン再ランク付けのための動的ランク付けリストトラニケーション
- Authors: Nilanjan Sinhababu, Soumedhik Bharati, Debasis Ganguly, Pabitra Mitra,
- Abstract要約: 大規模言語モデル (LLM) は再分類に広く用いられている。
計算オーバーヘッドと大きなコンテキスト長は、LLMリランカにとって難しい問題である。
我々は、これらの生成された参照文書をRTTに使用し、効率的なリストワイドのランク付けを行う方法を提案する。
- 参考スコア(独自算出の注目度): 15.552090744502477
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLM) have been widely used in reranking. Computational overhead and large context lengths remain a challenging issue for LLM rerankers. Efficient reranking usually involves selecting a subset of the ranked list from the first stage, known as ranked list truncation (RLT). The truncated list is processed further by a reranker. For LLM rerankers, the ranked list is often partitioned and processed sequentially in batches to reduce the context length. Both these steps involve hyperparameters and topic-agnostic heuristics. Recently, LLMs have been shown to be effective for relevance judgment. Equivalently, we propose that LLMs can be used to generate reference documents that can act as a pivot between relevant and non-relevant documents in a ranked list. We propose methods to use these generated reference documents for RLT as well as for efficient listwise reranking. While reranking, we process the ranked list in either parallel batches of non-overlapping windows or overlapping windows with adaptive strides, improving the existing fixed stride setup. The generated reference documents are also shown to improve existing efficient listwise reranking frameworks. Experiments on TREC Deep Learning benchmarks show that our approach outperforms existing RLT-based approaches. In-domain and out-of-domain benchmarks demonstrate that our proposed methods accelerate LLM-based listwise reranking by up to 66\% compared to existing approaches. This work not only establishes a practical paradigm for efficient LLM-based reranking but also provides insight into the capability of LLMs to generate semantically controlled documents using relevance signals.
- Abstract(参考訳): 大規模言語モデル (LLM) は再分類に広く用いられている。
計算オーバーヘッドと大きなコンテキスト長は、LLMリランカにとって難しい問題である。
効率的なランク付けは通常、ランク付けリストのサブセットを第1段階から選択する。
トランカットされたリストは、再ランカによりさらに処理される。
LLMリランカの場合、ランキングリストは、コンテキスト長を減らすために、しばしば分割され、バッチで順次処理される。
これらのステップには、ハイパーパラメータとトピックに依存しないヒューリスティックスが含まれる。
近年,LSMは妥当性判定に有効であることが示されている。
同様に、ランキングリスト内の関連文書と非関連文書のピボットとして機能する参照文書を生成するためにLLMを使用することを提案する。
我々は、これらの生成された参照文書をRTTに使用し、効率的なリストワイドのランク付けを行う方法を提案する。
重なりのないウィンドウの並列バッチ,あるいは重なり合うウィンドウの順応ストライドでランクリストを処理し,既存の固定ストライドの設定を改善する。
生成された参照ドキュメントは、既存の効率的なリストワイドフレームワークを改善することも示されています。
TREC Deep Learningベンチマークの実験により、我々のアプローチは既存のRTLベースのアプローチよりも優れていることが示された。
ドメイン内およびドメイン外ベンチマークにより,提案手法は既存手法と比較してLLMに基づくリストのランク付けを最大66%高速化することを示した。
この研究は、効率的なLLMに基づく再分類のための実用的なパラダイムを確立するだけでなく、関連信号を用いて意味制御された文書を生成するLLMの能力に関する洞察も提供する。
関連論文リスト
- ReBOL: Retrieval via Bayesian Optimization with Batched LLM Relevance Observations and Query Reformulation [26.465397317019107]
本稿では,LLMクエリ文書関連スコアの文書バッチを反復的に取得するReBOLについて紹介する。
例えば、ロバスト04データセットでは、46.5%対35.0%のリコール@100、63.6%対61.2%のNDCG@10である。
論文 参考訳(メタデータ) (2026-03-20T21:30:13Z) - DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。
dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。
モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
論文 参考訳(メタデータ) (2026-02-13T02:18:14Z) - Likert or Not: LLM Absolute Relevance Judgments on Fine-Grained Ordinal Scales [3.4068099825211986]
関連性判断を求める2つの最も一般的なプロンプトは、ポイントワイズとリストワイズランキングである。
現在の研究コミュニティのコンセンサスでは、リストワイドランキングは優れたパフォーマンスをもたらす。
この仮説と対立する中で、十分に大きな順序関係ラベル空間を用いてポイントワイドスコアリングを行うと、ポイントワイドスコアリングとリストワイドランキングのギャップが縮むことが分かる。
論文 参考訳(メタデータ) (2025-05-25T21:41:35Z) - LLM4Ranking: An Easy-to-use Framework of Utilizing Large Language Models for Document Reranking [15.060195612587805]
我々は,オープンソースやクローズドソースのAPIベースのLCMを用いて,ユーザが異なるランキング手法を適用可能な統一フレームワークである textbfLLM4Ranking を導入する。
我々のフレームワークは、LLMで文書を再ランク付けするためのシンプルでインターフェイスを提供し、また、このタスクの使い易い評価と微調整スクリプトを提供する。
論文 参考訳(メタデータ) (2025-04-10T04:08:38Z) - Guiding Retrieval using LLM-based Listwise Rankers [15.3583908068962]
本稿では,リストワイズ設定をサポートする既存適応検索手法の適応性を提案する。
具体的には、提案アルゴリズムは、初期ランキングとフィードバック文書の両方から結果をマージする。
我々は,適応プロセスの最小化によるLLM推論の総数とオーバーヘッドを一定に保ちながら,nDCG@10を最大13.23%改善し,28.02%リコールできることを示した。
論文 参考訳(メタデータ) (2025-01-15T22:23:53Z) - Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳(メタデータ) (2024-11-07T10:31:31Z) - FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。
実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。
以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
論文 参考訳(メタデータ) (2024-06-21T21:27:50Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。
実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
論文 参考訳(メタデータ) (2023-11-14T01:38:02Z) - LlamaRec: Two-Stage Recommendation using Large Language Models for
Ranking [10.671747198171136]
ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。
特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。
LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
論文 参考訳(メタデータ) (2023-10-25T06:23:48Z) - Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。
3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
論文 参考訳(メタデータ) (2023-05-03T14:45:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。