論文の概要: Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders

• arxiv url: http://arxiv.org/abs/2601.05588v1
• Date: Fri, 09 Jan 2026 07:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.889035
• Title: Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders
• Title（参考訳）: 自動回帰ランキング:デュアルエンコーダとクロスエンコーダのギャップを埋める
• Authors: Benjamin Rozonoyer, Chong You, Michael Boratko, Himanshu Jain, Nilesh Gupta, Srinadh Bhojanapalli, Andrew McCallum, Felix Yu,
• Abstract要約: マルチトークンドクIDを用いたポイントワイズ生成ランキングはデュアルエンコーダよりも優れていることを示す。 SToICaLは、アイテムとトークンのレベルの両方において、ランク対応の監視を組み込むことができるシンプルなトークンの校正損失である。
• 参考スコア（独自算出の注目度）: 37.16464474575651
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dual and cross encoders have long been mainstays of information retrieval (IR), but are being challenged by the emergent capabilities of LLMs. An LLM-based approach we term pointwise generative ranking - generating tokens the length of a single docID as opposed to a list in order to enable ranking via beam search - combines efficiency and expressivity benefits while leveraging the in-context capabilities of Causal Transformers. Although there is ample evidence to suggest that pretrained LLMs are well-suited for ranking, we find that the vast majority of LLM-based approaches rely on next-token prediction, a loss function which is fundamentally rank-agnostic (and especially so with pointwise supervision). In this paper, we first prove that the expressivity of pointwise generative ranking with multi-token docIDs is superior to that of dual encoders. We then propose SToICaL - a Simple Token-Item Calibrated Loss - which can incorporate rank-aware supervision at both the item and token levels within the pointwise setup. We run a suite of experiments on ranking tasks derived from WordNet (Fellbaum, 1998) and ESCI (Reddy et al., arXiv:2206.06588). Two variants of SToICaL successfully suppress the probability of invalid docID generations and improve on common ranking metrics beyond top-1 retrieval.
• Abstract（参考訳）: デュアルエンコーダとクロスエンコーダは、長い間情報検索(IR)の主流であったが、LLMの創発的能力に悩まされている。 LLMベースのアプローチでは、ビームサーチによるランク付けを可能にするために、単一のドキュメントIDの長さに対してトークンを生成し、効率と表現率の利点を両立させ、Causal Transformerのコンテキスト内機能を活用しながら、ポイントワイズ生成ランキング(pointwise generative ranking)と呼ぶ。 事前学習されたLLMがランク付けに適していることを示す証拠は少ないが、LLMベースのアプローチの大多数は、基本的にランクに依存しない損失関数である次のトーケン予測に依存している(特に点的監督を伴う)。 本稿では,マルチトークンドクIDを用いたポイントワイド生成ランキングの表現性が,デュアルエンコーダよりも優れていることを最初に証明する。 次に,SToICaL - シンプルなトークン項目の校正損失 - を提案する。 我々は、WordNet(Fellbaum, 1998)とESCI(Reddy et al , arXiv:2206.06588)から派生したランキングタスクに関する一連の実験を行った。 SToICaLの2つの変種は、無効なドクID生成の確率を抑え、トップ1検索以上の一般的なランキング指標を改善することに成功した。

関連論文リスト

• Are LLMs Reliable Rankers? Rank Manipulation via Two-Stage Token Optimization [7.7899746437628385]
  本稿では,2段階のトークン最適化手法であるRop Anything First(RAF)を提案する。 RAFはテキストの摂動を簡潔に行い、大きな言語モデルでターゲットアイテムを一貫して推進する。 RAFは、ランキングの有効性の最大化と言語的自然性の維持という2つの目的によって導かれる、トークン・バイ・トークンのランク付けプロンプトを生成する。
  論文  参考訳（メタデータ） (2025-10-08T07:40:40Z)
• Likert or Not: LLM Absolute Relevance Judgments on Fine-Grained Ordinal Scales [3.4068099825211986]
  関連性判断を求める2つの最も一般的なプロンプトは、ポイントワイズとリストワイズランキングである。 現在の研究コミュニティのコンセンサスでは、リストワイドランキングは優れたパフォーマンスをもたらす。 この仮説と対立する中で、十分に大きな順序関係ラベル空間を用いてポイントワイドスコアリングを行うと、ポイントワイドスコアリングとリストワイドランキングのギャップが縮むことが分かる。
  論文  参考訳（メタデータ） (2025-05-25T21:41:35Z)
• Reinforcement Speculative Decoding for Fast Ranking [9.584558586988953]
  大規模言語モデル (LLM) は情報検索 (IR) システムやレコメンダシステム (RS) などのランキングシステムで広く採用されている。 LLMの高速ランキング推定のための強化復号法を提案する。
  論文  参考訳（メタデータ） (2025-05-23T02:25:26Z)
• Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
  LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。 非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-18T09:04:37Z)
• Order-agnostic Identifier for Large Language Model-based Generative Recommendation [94.37662915542603]
  アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。 既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。 本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
  論文  参考訳（メタデータ） (2025-02-15T15:25:38Z)
• Sliding Windows Are Not the End: Exploring Full Ranking with Long-Context Large Language Models [40.21540137079309]
  LLM(Long-context Language Models)は、単一の推論内で全ての節の完全なランク付けを可能にする。 教師付き微調整環境において,LLMの完全ランク付けにより優れた性能が得られることを示す。 本稿では,リストワイドなラベル構築手法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T06:44:59Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。