論文の概要: Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2603.17677v1
• Date: Wed, 18 Mar 2026 12:54:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.702159
• Title: Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models
• Title（参考訳）: 検索型仮設拡散モデルに対する適応誘導法
• Abstract要約: 本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。 複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
• 参考スコア（独自算出の注目度）: 60.25003813232697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) improves factual grounding by incorporating external knowledge into language model generation. However, when retrieved context is noisy, unreliable, or inconsistent with the model's parametric knowledge, it introduces retrieval-prior conflicts that can degrade generation quality. While this problem has been studied in autoregressive language models, it remains largely unexplored in diffusion-based language models, where the iterative denoising process introduces unique challenges for integrating retrieved context. In this work, we propose Adaptive Retrieval-Augmented Masked Diffusion (ARAM), a training-free adaptive guidance framework for Masked Diffusion Models (MDMs) in RAG settings. ARAM dynamically calibrates the guidance scale during denoising according to the Signal-to-Noise Ratio (SNR) of the distributional shift induced by retrieved context. Intuitively, the model strengthens guidance when the retrieved context provides reliable corrective evidence and suppresses it when the contextual signal is noisy or non-supportive. Extensive experiments on multiple knowledge-intensive QA benchmarks show that ARAM improves overall QA performance over competitive RAG baselines.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、言語モデル生成に外部知識を組み込むことにより、現実の基盤を改善する。 しかし、検索されたコンテキストが、モデルのパラメトリック知識と不整合である場合、生成品質を低下させるような、検索と優先順位の競合を導入する。 この問題は自己回帰言語モデルで研究されているが、拡散に基づく言語モデルでは探索されていない。 本研究では,Masked Diffusion Models (MDM) のための学習自由適応ガイダンスフレームワークであるAdaptive Retrieval-Augmented Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトの信号対雑音比(SNR)に応じて、復調中の誘導スケールを動的に校正する。 直感的には、検索されたコンテキストが信頼できる補正証拠を提供する場合のガイダンスを強化し、コンテキスト信号がノイズまたは非支持的である場合にはそれを抑圧する。 複数の知識集約型QAベンチマークに対する大規模な実験により、ARAMは競争力のあるRAGベースラインよりも全体的なQA性能を改善することが示された。

関連論文リスト

• UniNDM: A Unified Noise-driven Detection and Mitigation Framework Against Sexual Content in Text-to-Image Generation [90.0896070825457]
  本稿では,拡散過程におけるノイズダイナミクスのレンズを通して,安全機構を再考する統合ノイズ駆動フレームワークを提案する。 我々の重要な洞察は、早期の予測ノイズは、正常な内容と性的な内容の間に固有の分離性を示すことである。 我々は,計算オーバーヘッドがほとんどなく,精度の高い軽量ノイズベース検出器を開発した。
  論文  参考訳（メタデータ） (2026-07-18T14:03:39Z)
• Beyond Fully Random Masking: Attention-Guided Denoising and Optimization for Diffusion Language Models [129.8880969196575]
  拡散大言語モデル(dLLM)における注意の実証分析について述べる。 我々は,未成熟の文脈に強く参加するトークンがより世代安定性を示し,推論において重要な役割を担っていることを示す。 これらの知見に触発され,注意誘導型分極最適化フレームワーク AGDO を提案する。
  論文  参考訳（メタデータ） (2026-06-10T16:14:23Z)
• Training-Free Intelligibility-Guided Observation Addition for Noisy ASR [57.74127683005929]
  本稿では,雑音環境下での音声認識を改善するために,インテリジェンス誘導観測加算法を提案する。 さまざまなSE-ASRの組み合わせとデータセットによる実験は、既存のOAベースラインよりも強い堅牢性と改善を示している。
  論文  参考訳（メタデータ） (2026-02-24T14:46:54Z)
• ASK: Adaptive Self-improving Knowledge Framework for Audio Text Retrieval [19.94287753279928]
  オーディオテキスト検索(ATR)の主流パラダイムは、ミニバッチベースのコントラスト学習に依存している。 Gradient Locality Bottleneck(GLB)は、モデルがバッチ外の知識を活用することを構造的に防止する。 Representation-Drift Mismatch(Representation-Drift Mismatch、RDM)とは、静的知識ベースが進化するモデルと徐々に不一致になり、ガイダンスがノイズになる現象である。
  論文  参考訳（メタデータ） (2025-12-11T14:48:30Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• InstructRAG: Instructing Retrieval-Augmented Generation via Self-Synthesized Rationales [14.655518998487237]
  InstructRAGを提案する。そこでは、LMが自己合成的理性を通して認知過程を明示的に学習する。 インストラクションRAGは追加の監視を必要としないため、予測された回答の検証が容易になる。 実験によると、InstructRAGはトレーニング不要とトレーニング可能な両方のシナリオにおいて、既存のRAGメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-06-19T15:25:29Z)
• Enhancing Noise Robustness of Retrieval-Augmented Language Models with Adaptive Adversarial Training [39.21885486667879]
  大型言語モデル(LLM)は、幻覚、時代遅れの知識、追跡不能な推論プロセスなどの課題に遭遇する重大な能力を示す。 Retrieval-augmented Generation(RAG)は、これらの課題を軽減するために、外部データベースからの知識を統合する、有望なソリューションとして登場した。 本稿では,RAAT(Retrieval-augmented Adaptive Adrial Training)として知られる新しいRAGアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-31T16:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。