論文の概要: DiffuGR: Generative Document Retrieval with Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2511.08150v3
- Date: Wed, 19 Nov 2025 08:32:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-20 15:51:28.416819
- Title: DiffuGR: Generative Document Retrieval with Diffusion Language Models
- Title（参考訳）: DiffuGR: 拡散言語モデルを用いた生成ドキュメント検索
- Authors: Xinpeng Zhao, Zhaochun Ren, Yukun Zhao, Zhenyang Li, Mengqi Zhang, Jun Feng, Ran Chen, Ying Zhou, Zhumin Chen, Shuaiqiang Wang, Dawei Yin, Xin Xin,
- Abstract要約: 本稿ではDiffuGRと呼ばれる拡散言語モデルを用いた生成文書検索を提案する。
推論のために、DiffuGRはDocIDトークンを並列に生成し、制御可能な多数のデノナイジングステップを通じてそれを洗練しようと試みている。
従来の左から右への自動回帰デコーディングとは対照的に、DiffuGRはより信頼性の高いDocIDトークンを生成するための新しいメカニズムを提供する。
- 参考スコア（独自算出の注目度）: 80.78126312115087
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative retrieval (GR) re-frames document retrieval as a sequence-based document identifier (DocID) generation task, memorizing documents with model parameters and enabling end-to-end retrieval without explicit indexing. Existing GR methods are based on auto-regressive generative models, i.e., the token generation is performed from left to right. However, such auto-regressive methods suffer from: (1) mismatch between DocID generation and natural language generation, e.g., an incorrect DocID token generated in early left steps would lead to totally erroneous retrieval; and (2) failure to balance the trade-off between retrieval efficiency and accuracy dynamically, which is crucial for practical applications. To address these limitations, we propose generative document retrieval with diffusion language models, dubbed DiffuGR. It models DocID generation as a discrete diffusion process: during training, DocIDs are corrupted through a stochastic masking process, and a diffusion language model is learned to recover them under a retrieval-aware objective. For inference, DiffuGR attempts to generate DocID tokens in parallel and refines them through a controllable number of denoising steps. In contrast to conventional left-to-right auto-regressive decoding, DiffuGR provides a novel mechanism to first generate more confident DocID tokens and refine the generation through diffusion-based denoising. Moreover, DiffuGR also offers explicit runtime control over the qualitylatency tradeoff. Extensive experiments on benchmark retrieval datasets show that DiffuGR is competitive with strong auto-regressive generative retrievers, while offering flexible speed and accuracy tradeoffs through variable denoising budgets. Overall, our results indicate that non-autoregressive diffusion models are a practical and effective alternative for generative document retrieval.
- Abstract（参考訳）: 生成検索(GR)は、ドキュメント検索をシーケンスベースのドキュメント識別子(DocID)生成タスクとして再フレーム化し、モデルパラメータで文書を記憶し、明示的なインデックス付けなしでエンドツーエンドの検索を可能にする。
既存のGR法は自動回帰生成モデルに基づいており、トークン生成は左から右に行われる。
しかし、このような自己回帰的手法は、(1) DocID生成と自然言語生成のミスマッチ、例えば、初期の左ステップで生成した不正なDocIDトークンが完全に不正な検索につながること、(2) 検索効率と精度のトレードオフのバランスが取れないこと、等に悩まされる。
このような制約に対処するため,DiffuGRと呼ばれる拡散言語モデルを用いた生成文書検索を提案する。
DocID生成を離散拡散過程としてモデル化し、トレーニング中、DocIDは確率的マスキングプロセスによって破損し、拡散言語モデルが学習され、それらを検索対応の目的の下で復元する。
推論のために、DiffuGRはDocIDトークンを並列に生成し、制御可能な多数のデノナイジングステップを通じてそれを洗練しようとする。
従来の左から右への自己回帰復号法とは対照的に、DiffuGRはより信頼性の高いDocIDトークンを最初に生成し、拡散に基づく復号化によって生成を洗練するための新しいメカニズムを提供する。
さらに、DiffuGRは品質遅延トレードオフに対する明確なランタイムコントロールも提供する。
ベンチマーク検索データセットに関する大規模な実験により、DiffuGRは強力な自動回帰生成レトリバーと競合し、可変デノナイジング予算を通じて柔軟な速度と精度のトレードオフを提供することが示された。
以上の結果から,非自己回帰拡散モデルが生成文書検索の実用的で効果的な代替手段であることが示唆された。
関連論文リスト
- ImpRAG: Retrieval-Augmented Generation with Implicit Queries [34.72864597562907]
ImpRAGは、検索と生成を統一モデルに統合するクエリフリーなRAGシステムである。
我々は、ImpRAGが、多様な形式を持つ未確認タスクの正確なマッチスコアを3.6-11.5改善したことを示す。
論文 参考訳（メタデータ） (2025-06-02T21:38:21Z) - Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。
本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
論文 参考訳（メタデータ） (2025-04-14T06:54:49Z) - Hierarchical corpus encoder: Fusing generative retrieval and dense indices [39.56098961341313]
生成検索は、クエリに基づいた文書IDの条件付き生成にシーケンスモデルを用いる。
これにより、ゼロショット検索のパフォーマンスが向上したが、トレーニング中に見えないドキュメントをサポートすることは困難である。
本稿では,階層型コーパスエンコーダ(HCE)を提案する。
論文 参考訳（メタデータ） (2025-02-26T06:43:09Z) - RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation [21.764973680014368]
RetroLLMは、検索と生成を単一の凝集プロセスに統合する統合フレームワークである。
制約付きエビデンス生成の過程での偽プルーニングを軽減するために,階層的FM-Index制約を導入する。
5つのオープンドメインQAデータセットの実験では、ドメイン内タスクとドメイン外タスクの両方にわたって、RetroLLMの優れたパフォーマンスが示されている。
論文 参考訳（メタデータ） (2024-12-16T16:03:25Z) - Planning Ahead in Generative Retrieval: Guiding Autoregressive Generation through Simultaneous Decoding [23.061797784952855]
本稿では,文書識別子の自動生成を支援する新しい最適化および復号化手法であるPAGを紹介する。
MSMARCO と TREC Deep Learning Track のデータによる実験の結果,PAG は最先端の生成的検索モデルよりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2024-04-22T21:50:01Z) - Distillation Enhanced Generative Retrieval [96.69326099136289]
生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。
本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。
本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
論文 参考訳（メタデータ） (2024-02-16T15:48:24Z) - CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。
従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。
生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
論文 参考訳（メタデータ） (2024-02-02T06:44:22Z) - Learning to Rank in Generative Retrieval [62.91492903161522]
生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。
我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。
このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
論文 参考訳（メタデータ） (2023-06-27T05:48:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。