論文の概要: GistRank: Gist-Compressed Listwise Ranking with Large Language Models
- arxiv url: http://arxiv.org/abs/2610.39610v1
- Date: Thu, 29 Oct 2026 08:43:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 23:13:04.732219
- Title: GistRank: Gist-Compressed Listwise Ranking with Large Language Models
- Title（参考訳）: GistRank: 大規模言語モデルによるGist圧縮リストのランク付け
- Abstract要約: 大規模言語モデル(LLM)は、リストワイズ関連ランキングの強力なツールとなっている。
しかし、全ての候補を冗長に処理し、自動的に置換を生成することは、推論にコストがかかる。
我々はGistRankを提案する。GistRankは3段階のトレーニングフレームワークで、大きな言語モデルにギスト圧縮された通過表現を装備する。
- 参考スコア（独自算出の注目度）: 14.874786997675933
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have become a powerful tool for listwise relevance ranking, which can improve web search by comparing retrieved passages jointly. However, processing every candidate verbatim and generating a permutation autoregressively can make inference costly, every candidate must be serialized verbatim into the prompt and the input therefore grows linearly with both the number and the length of the passages. While sliding-window ranking handles context limits through repeated re-encoding of overlapping blocks, hard compression techniques sacrifice the fine-grained details required for accurate discriminative judgment. To better understand and mitigate this trade-off, we conduct a comprehensive study of soft compression for LLM-based listwise ranking. Our findings reveal that a vanilla gist representation is ill-suited to ranking for two reasons: strictly causal encoding weakens how thoroughly each gist token absorbs its passage, and the representation is never trained to expose the relative-preference structure that separates closely competing candidates. To this end, we propose GistRank, a three-stage training framework that equips a large language model with gist-compressed passage representations by learning faithful gist tokens under a semi-bidirectional attention scheme, instilling discriminative comparison through pairwise training, and adapting the model to the listwise objective. GistRank collapses each passage into only $K{=}4$ gist tokens, this gives 14$\times$ speedups over one-shot full-text ranking while reaching 59.17 average nDCG@10 over TREC DL19/20 and five BEIR subsets within 0.89 of the strongest full-context baseline. Overall, GistRank provides an effective means to enhance efficiency for searches in real-world environments.
- Abstract（参考訳）: 大規模言語モデル (LLM) はリストワイド・レバレンス・ランキングの強力なツールとなっている。
しかし、全ての候補の動詞を処理し、自動的に置換を生成すると、コストがかかるため、全ての候補を代入語に直列化しなければならないため、入力はパスの数と長さの両方で線形に増加する。
スライディングウィンドウのランキングは、重なり合うブロックの繰り返しエンコードによってコンテキスト制限を処理するが、ハード圧縮技術は正確な識別判断に必要な細かい詳細を犠牲にする。
このトレードオフをよりよく理解し、緩和するために、LLMに基づくリストワイズランキングのためのソフト圧縮の包括的な研究を行う。
その結果,バニラギスト表現は2つの理由でランク付けに適していないことが明らかとなった。厳密に因果的符号化は各ギストトークンが通過をいかに徹底的に吸収するかを弱め,その表現は密接に競合する候補を区別する相対的選好構造を明らかにするために訓練されることはない。
この目的のために、GistRankという3段階の学習フレームワークを提案する。GistRankは、半双方向の注意スキームの下で忠実なギストトークンを学習し、ペアワイズトレーニングを通じて識別比較を注入し、モデルをリストワイズ目的に適応させることにより、大きな言語モデルにギスト圧縮された通過表現を備えた3段階のトレーニングフレームワークである。
GistRankは各節をK{=}4$gistトークンに分解し、1ショットのフルテキストランキングよりも14$\times$スピードアップし、TREC DL19/20で平均nDCG@10、最強のフルテキストベースラインの0.89でBEIRサブセット5つに達する。
全体として、GistRankは現実世界の環境での検索の効率を高める効果的な手段を提供する。
関連論文リスト
- Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression [5.223477157195793]
中間のロスト」現象は、入力長が大きくなるにつれてランキング品質を低下させる。
推論レイテンシは、シーケンス長と超直線的にスケールし、産業展開において非現実的にリストワイズする。
ResRankは、両方の課題を根本的に解決する統合検索格付けフレームワークである。
論文 参考訳（メタデータ） (2026-04-24T03:11:51Z) - BracketRank: Large Language Model Document Ranking via Reasoning-based Competitive Elimination [23.26024974182057]
推論集約検索は、表面レベルのキーワードマッチング以上の深い意味推論を必要とする。
textbfBracketRankは、文書の再ランクを推論駆動の競争トーナメントとして扱うフレームワークである。
提案手法では,(1)モデルコンテキスト制限に基づく適応的なグループ化,(2)推論の強化,(3)勝者と敗者トラックによるブラケットスタイルの排除構造,の3つの重要なイノベーションを紹介した。
論文 参考訳（メタデータ） (2026-04-10T00:16:31Z) - BLITZRANK: Principled Zero-shot Ranking Agents with Tournament Graphs [14.085089126904101]
我々は、$k$-wiseランキングの原則となる基盤を提供するトーナメントグラフフレームワークを導入する。
それぞれ$k$-item比較すると、$binomk2$の完全なトーナメントがペアワイズで表示される。
我々は、アイテムのランクが確実に決定されたときを形式化し、情報ゲインを最大化する欲求クエリスケジュールを設計する。
論文 参考訳（メタデータ） (2026-02-05T08:41:00Z) - LLM-guided Hierarchical Retrieval [54.73080745446999]
LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。
LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。
我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
論文 参考訳（メタデータ） (2025-10-15T07:05:17Z) - Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳（メタデータ） (2024-11-07T10:31:31Z) - AGRaME: Any-Granularity Ranking with Multi-Vector Embeddings [53.78802457488845]
我々は,多ベクトル埋め込みを利用して粒度の異なるレベルにランク付けする,任意の粒度ランキングの考え方を紹介した。
検索強化世代におけるポストホック励振付加への命題レベルのランク付けの適用を実証する。
論文 参考訳（メタデータ） (2024-05-23T20:04:54Z) - Unsupervised Contrast-Consistent Ranking with Language Models [24.696017700382665]
言語モデルはランキングベースの知識を含み、コンテキスト内ランキングタスクの強力な解法である。
我々は、言語モデルのランキング知識を引き出すために、ペアワイズ、ポイントワイズ、リストワイズの各テクニックを比較した。
注意深いキャリブレーションと制約付きデコーディングであっても、プロンプトベースのテクニックは、必ずしもそれらが生成するランキングにおいて自己整合であるとは限らない。
論文 参考訳（メタデータ） (2023-09-13T14:36:26Z) - Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。
本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
論文 参考訳（メタデータ） (2023-06-30T11:32:25Z) - Bridging the Training-Inference Gap for Dense Phrase Retrieval [104.4836127502683]
密度の高いレトリバーを構築するには、トレーニングやニューラルネットワークの検証など、一連の標準手順が必要である。
本稿では,高密度検索におけるトレーニングと推論のギャップを減らせる方法について検討する。
コーパス全体の小さな部分集合を用いて高密度レトリバーを効率よく検証する方法を提案する。
論文 参考訳（メタデータ） (2022-10-25T00:53:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。