論文の概要: Unlocking the Potentials of Retrieval-Augmented Generation for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2601.11342v1
• Date: Fri, 16 Jan 2026 14:45:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.528307
• Title: Unlocking the Potentials of Retrieval-Augmented Generation for Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおける検索拡張生成の可能性の解き放つ
• Authors: Chuanyue Yu, Jiahui Wang, Yuhan Li, Heng Chang, Ge Lan, Qingyun Sun, Jia Li, Jianxin Li, Ziwei Zhang,
• Abstract要約: Retrieval-Augmented Generationは、大規模言語モデル(LLM)の拡張において大きな成功を示している RAGと組み合わせたDLMは、文脈情報に強く依存する有望なポテンシャルを示すが、限られた生成精度に悩まされていることを示す。 本稿では,クエリ関連誘導型デノゲーション戦略を導入する新しいフレームワークであるセマンティック保存型レトリーバル拡張拡散(SPREAD)を提案する。
• 参考スコア（独自算出の注目度）: 38.148737920360766
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diffusion Language Models (DLMs) have recently demonstrated remarkable capabilities in natural language processing tasks. However, the potential of Retrieval-Augmented Generation (RAG), which shows great successes for enhancing large language models (LLMs), has not been well explored, due to the fundamental difference between LLM and DLM decoding. To fill this critical gap, we systematically test the performance of DLMs within the RAG framework. Our findings reveal that DLMs coupled with RAG show promising potentials with stronger dependency on contextual information, but suffer from limited generation precision. We identify a key underlying issue: Response Semantic Drift (RSD), where the generated answer progressively deviates from the query's original semantics, leading to low precision content. We trace this problem to the denoising strategies in DLMs, which fail to maintain semantic alignment with the query throughout the iterative denoising process. To address this, we propose Semantic-Preserving REtrieval-Augmented Diffusion (SPREAD), a novel framework that introduces a query-relevance-guided denoising strategy. By actively guiding the denoising trajectory, SPREAD ensures the generation remains anchored to the query's semantics and effectively suppresses drift. Experimental results demonstrate that SPREAD significantly enhances the precision and effectively mitigates RSD of generated answers within the RAG framework.
• Abstract（参考訳）: 拡散言語モデル(DLM)は近年,自然言語処理タスクにおいて顕著な機能を示した。 しかし,LLM と DLM の復号化の根本的な違いから,大規模言語モデル(LLM)を改良する上で大きな成功を収めた Retrieval-Augmented Generation (RAG) の可能性は十分に検討されていない。 この重要なギャップを埋めるために、RAGフレームワーク内でDLMの性能を体系的にテストする。 以上の結果から,RAGと組み合わせたDLMは,文脈情報に強く依存する有望なポテンシャルを示すが,生成精度は限られていることが明らかとなった。 Response Semantic Drift (RSD) では、生成した回答がクエリの本来のセマンティクスから徐々に逸脱し、精度の低下につながる。 我々はこの問題をDLMにおけるデノナイジング戦略に遡り、反復的デノナイジングプロセスを通してクエリとセマンティックアライメントを維持するのに失敗する。 これを解決するために,クエリ関連誘導型デノベーション戦略を導入する新しいフレームワークであるSemantic-Preserving Retrieval-Augmented Diffusion (SPREAD)を提案する。 SPREADは、denoising trajectoryを積極的に導くことによって、クエリのセマンティクスに固定された生成を確実に保ち、ドリフトを効果的に抑制する。 実験の結果、SPREADは精度を大幅に向上し、RAGフレームワーク内で生成された回答のRSDを効果的に軽減することが示された。

関連論文リスト

• RADIANT: Retrieval AugmenteD entIty-context AligNmenT -- Introducing RAG-ability and Entity-Context Divergence [18.268335797537983]
  Retrieval-Augmented Generation (RAG) は、外部知識を生成プロセスに統合することにより、事実の精度を高める技術である。 本稿では,得られた証拠と生成されたコンテンツとの相互作用を最適化するために,RAGとアライメントを組み合わせたフレームワークであるRadiantを紹介する。
  論文  参考訳（メタデータ） (2025-06-28T21:40:35Z)
• SUTA-LM: Bridging Test-Time Adaptation and Language Model Rescoring for Robust ASR [58.31068047426522]
  テスト時間適応(TTA)は、推論中にモデルを調整することで緩和することを目的としている。 最近の研究は、ビーム探索再構成や生成誤り訂正といった手法を用いて、TTAと外部言語モデルの組み合わせについて検討している。 本稿では,SUTAの簡易かつ効果的な拡張であるSUTA-LMを提案する。 18種類のASRデータセットの実験により、SUTA-LMは幅広い領域で堅牢な結果が得られることが示された。
  論文  参考訳（メタデータ） (2025-06-10T02:50:20Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• InstructRAG: Instructing Retrieval-Augmented Generation via Self-Synthesized Rationales [14.655518998487237]
  InstructRAGを提案する。そこでは、LMが自己合成的理性を通して認知過程を明示的に学習する。 インストラクションRAGは追加の監視を必要としないため、予測された回答の検証が容易になる。 実験によると、InstructRAGはトレーニング不要とトレーニング可能な両方のシナリオにおいて、既存のRAGメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-06-19T15:25:29Z)
• Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
  大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
  論文  参考訳（メタデータ） (2024-01-19T01:29:27Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。