論文の概要: Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2603.17677v1
• Date: Wed, 18 Mar 2026 12:54:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.702159
• Title: Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models
• Title（参考訳）: 検索型仮設拡散モデルに対する適応誘導法
• Authors: Jaemin Kim, Jong Chul Ye,
• Abstract要約: 本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。 複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
• 参考スコア（独自算出の注目度）: 60.25003813232697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) improves factual grounding by incorporating external knowledge into language model generation. However, when retrieved context is noisy, unreliable, or inconsistent with the model's parametric knowledge, it introduces retrieval-prior conflicts that can degrade generation quality. While this problem has been studied in autoregressive language models, it remains largely unexplored in diffusion-based language models, where the iterative denoising process introduces unique challenges for integrating retrieved context. In this work, we propose Adaptive Retrieval-Augmented Masked Diffusion (ARAM), a training-free adaptive guidance framework for Masked Diffusion Models (MDMs) in RAG settings. ARAM dynamically calibrates the guidance scale during denoising according to the Signal-to-Noise Ratio (SNR) of the distributional shift induced by retrieved context. Intuitively, the model strengthens guidance when the retrieved context provides reliable corrective evidence and suppresses it when the contextual signal is noisy or non-supportive. Extensive experiments on multiple knowledge-intensive QA benchmarks show that ARAM improves overall QA performance over competitive RAG baselines.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、言語モデル生成に外部知識を組み込むことにより、現実の基盤を改善する。 しかし、検索されたコンテキストが、モデルのパラメトリック知識と不整合である場合、生成品質を低下させるような、検索と優先順位の競合を導入する。 この問題は自己回帰言語モデルで研究されているが、拡散に基づく言語モデルでは探索されていない。 本研究では,Masked Diffusion Models (MDM) のための学習自由適応ガイダンスフレームワークであるAdaptive Retrieval-Augmented Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトの信号対雑音比(SNR)に応じて、復調中の誘導スケールを動的に校正する。 直感的には、検索されたコンテキストが信頼できる補正証拠を提供する場合のガイダンスを強化し、コンテキスト信号がノイズまたは非支持的である場合にはそれを抑圧する。 複数の知識集約型QAベンチマークに対する大規模な実験により、ARAMは競争力のあるRAGベースラインよりも全体的なQA性能を改善することが示された。

関連論文リスト

• Training-Free Intelligibility-Guided Observation Addition for Noisy ASR [57.74127683005929]
  本稿では,雑音環境下での音声認識を改善するために,インテリジェンス誘導観測加算法を提案する。 さまざまなSE-ASRの組み合わせとデータセットによる実験は、既存のOAベースラインよりも強い堅牢性と改善を示している。
  論文  参考訳（メタデータ） (2026-02-24T14:46:54Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Enhancing Noise Robustness of Retrieval-Augmented Language Models with Adaptive Adversarial Training [39.21885486667879]
  大型言語モデル(LLM)は、幻覚、時代遅れの知識、追跡不能な推論プロセスなどの課題に遭遇する重大な能力を示す。 Retrieval-augmented Generation(RAG)は、これらの課題を軽減するために、外部データベースからの知識を統合する、有望なソリューションとして登場した。 本稿では,RAAT(Retrieval-augmented Adaptive Adrial Training)として知られる新しいRAGアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-31T16:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。