論文の概要: DiffuRank: Effective Document Reranking with Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2602.12528v1
• Date: Fri, 13 Feb 2026 02:18:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:53.812164
• Title: DiffuRank: Effective Document Reranking with Diffusion Language Models
• Title（参考訳）: DiffuRank: 拡散言語モデルを用いた効果的なドキュメント
• Authors: Qi Liu, Kun Ai, Jiaxin Mao, Yanzhao Zhang, Mingxin Li, Dingkun Long, Pengjun Xie, Fengbin Zhu, Ji-Rong Wen,
• Abstract要約: 拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。 dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。 モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
• 参考スコア（独自算出の注目度）: 71.16830004674513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have inspired new paradigms for document reranking. While this paradigm better exploits the reasoning and contextual understanding capabilities of LLMs, most existing LLM-based rerankers rely on autoregressive generation, which limits their efficiency and flexibility. In particular, token-by-token decoding incurs high latency, while the fixed left-to-right generation order causes early prediction errors to propagate and is difficult to revise. To address these limitations, we explore the use of diffusion language models (dLLMs) for document reranking and propose DiffuRank, a reranking framework built upon dLLMs. Unlike autoregressive models, dLLMs support more flexible decoding and generation processes that are not constrained to a left-to-right order, and enable parallel decoding, which may lead to improved efficiency and controllability. Specifically, we investigate three reranking strategies based on dLLMs: (1) a pointwise approach that uses dLLMs to estimate the relevance of each query-document pair; (2) a logit-based listwise approach that prompts dLLMs to jointly assess the relevance of multiple documents and derives ranking lists directly from model logits; and (3) a permutation-based listwise approach that adapts the canonical decoding process of dLLMs to the reranking tasks. For each approach, we design corresponding training methods to fully exploit the advantages of dLLMs. We evaluate both zero-shot and fine-tuned reranking performance on multiple benchmarks. Experimental results show that dLLMs achieve performance comparable to, and in some cases exceeding, that of autoregressive LLMs with similar model sizes. These findings demonstrate the promise of diffusion-based language models as a compelling alternative to autoregressive architectures for document reranking.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、文書の再ランク付けのための新しいパラダイムにインスピレーションを与えている。 このパラダイムは LLM の推論と文脈的理解機能をうまく活用するが、既存の LLM ベースのリランカーの多くは自己回帰生成に依存しており、効率と柔軟性を制限している。 特にトークン・バイ・トークンの復号化はレイテンシが高く、固定された左から右への生成順序は早期の予測エラーを伝播させ、修正が困難である。 これらの制約に対処するために、文書の再ランク付けに拡散言語モデル(dLLMs)の使用を検討し、dLLMs上に構築されたリランクフレームワークであるDiffuRankを提案する。 自己回帰モデルとは異なり、dLLMは左から右への順序に制約されないより柔軟な復号および生成プロセスをサポートし、並列復号を可能にする。 具体的には、dLLMsに基づく3つのリスト化戦略を検討する。(1)dLLMsを用いて各クエリドキュメントペアの関連性を推定するポイントワイドアプローチ、(2)複数のドキュメントの関連性を共同で評価し、モデルロジットから直接ランク付けリストを導出するロジットベースのリストワイドアプローチ、(3)dLLMsの標準デコードプロセスに順応するパーマテーションベースのリストワイドアプローチ。 それぞれのアプローチに対して,dLLMの利点をフル活用するための学習手法を設計する。 複数のベンチマークでゼロショットと微調整の両方の性能を評価する。 実験の結果,dLLMs はモデルサイズが類似した自己回帰型 LLM に匹敵する性能を示した。 これらの知見は,文書再ランク付けのための自己回帰型アーキテクチャの代替として,拡散型言語モデルが期待できることを示す。

関連論文リスト

• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• Rethinking On-policy Optimization for Query Augmentation [49.87723664806526]
  本稿では,様々なベンチマークにおいて,プロンプトベースとRLベースのクエリ拡張の最初の体系的比較を示す。 そこで我々は,検索性能を最大化する擬似文書の生成を学習する,新しいハイブリッド手法 On-policy Pseudo-document Query Expansion (OPQE) を提案する。
  論文  参考訳（メタデータ） (2025-10-20T04:16:28Z)
• d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning [31.531278643184656]
  最近の大規模言語モデル(LLM)は、オンライン強化学習(RL)の恩恵を受ける強力な推論能力を示している。 教師付きファインタニング(SFT)とRLの組み合わせにより,事前学習したマスク付きdLLMを推論モデルに適応するフレームワークであるd1を提案する。 d1は最高の性能を示し、最先端のdLLMの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-16T16:08:45Z)
• RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation [21.764973680014368]
  RetroLLMは、検索と生成を単一の凝集プロセスに統合する統合フレームワークである。 制約付きエビデンス生成の過程での偽プルーニングを軽減するために,階層的FM-Index制約を導入する。 5つのオープンドメインQAデータセットの実験では、ドメイン内タスクとドメイン外タスクの両方にわたって、RetroLLMの優れたパフォーマンスが示されている。
  論文  参考訳（メタデータ） (2024-12-16T16:03:25Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。