論文の概要: Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.10829v1
• Date: Tue, 09 Jun 2026 13:17:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.515315
• Title: Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models
• Title（参考訳）: マスケ拡散言語モデルに対する注意分散適応サンプリング
• Authors: Yusuf Sahin, Ahmed Rockey Saikia, Volkan Cevher, Paolo Favaro,
• Abstract要約: マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
• 参考スコア（独自算出の注目度）: 59.51249894128724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models can reduce inference steps by revealing multiple tokens per denoising iteration, but this parallelism is fragile: positions that are individually confident may be unsafe to commit together when their predictions are coupled. Existing training-free samplers such as Top-\(k\), Fast-dLLM, and EB-Sampler mainly control how many tokens to reveal, while often ranking candidates by token-wise scores that ignore interactions within the selected set. We propose ADAS, a training-free reranking rule for parallel masked diffusion decoding. ADAS leaves the base sampler's stopping rule unchanged and modifies only subset construction: it greedily discounts a candidate when it attends strongly to already selected positions whose predictions remain uncertain. Unlike graph-constrained methods that turn attention into hard compatibility constraints, ADAS keeps attention continuous and uses it as a soft marginal penalty. Across LLaDA-8B-Base and Dream-7B-Base on GSM8K, MATH500, HumanEval, and MBPP, plugging ADAS into Top-\(k\), Fast-dLLM, and EB-Sampler improves low-NFE performance at matched denoiser evaluations by \(9.11\) and \(10.46\) percentage points on average, respectively, with \(3.1\%\) per-forward runtime overhead. These results show that soft attention-discounted reranking is a simple and modular way to improve quality in highly parallel decoding for masked diffusion language models.
• Abstract（参考訳）: 仮面拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを減らすことができるが、この並列性は脆弱である。 Top-\(k\)、Fast-dLLM、EB-Samplerといった既存のトレーニング不要のサンプルは、選択したセット内の相互作用を無視したトークン単位のスコアで候補をランク付けするのに対して、どのトークンを公開するかを主に制御する。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。 ADASは、ベースサンプルの停止規則をそのまま残し、サブセットの構成だけを変更する。 注意をハードコンフィグレーションの制約に変換するグラフ制約の手法とは異なり、ADASは注意を継続的に保ち、ソフトな限界ペナルティとして利用する。 GSM8K、MATH500、HumanEval、MBPP上のLLaDA-8B-BaseとDream-7B-Base全体で、ADASをTop-\(k\)、Fast-dLLM、EB-Samplerに接続すると、平均で9.11\と10.46\で一致したデノイザ評価における低NFE性能が向上し、実行時のオーバーヘッドは(3.1\%)になった。 これらの結果から,マスキング拡散言語モデルの並列復号化において,ソフトアテンションを考慮した復号化はシンプルでモジュラーな手法であることが示唆された。

関連論文リスト

• Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
  我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。 実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
  論文  参考訳（メタデータ） (2026-04-02T22:21:24Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Learning Unmasking Policies for Diffusion Language Models [33.44995119635116]
  言語モデル(dLLM)は、多くのタスクにおいて、自己回帰的な処理の下流のパフォーマンスにマッチする。 特別なマスクトークンで満たされたバッファが、モデルの語彙からサンプリングされたトークンに徐々に置き換えられる。 本研究では,強化学習を用いたサンプリング手順の訓練を提案する。
  論文  参考訳（メタデータ） (2025-12-09T20:44:33Z)
• MARS-Sep: Multimodal-Aligned Reinforced Sound Separation [72.85468563236005]
  MARS-Sepは音分離のための強化学習フレームワークである。 クリッピングされた信頼領域サロゲートによって最適化された、ファクタライズされたベータマスクポリシを学ぶ。 複数のベンチマークの実験は、テキスト、オーディオ、イメージ-キュード分離において一貫した利得を示している。
  論文  参考訳（メタデータ） (2025-10-12T09:05:28Z)
• Plan for Speed: Dilated Scheduling for Masked Diffusion Language Models [13.575063025878208]
  マスク付き拡散言語モデルは高速で非自己回帰的なテキスト生成を約束する。 モデルの信頼性に基づいてアンマスクするトークンを選択する既存のサンプルは、複数の位置を並列にアンマスクする際のインタラクションを無視する。 DUS(Dilated Unmasking Scheduler)は、列位置を非隣接拡張群に分割し、それらを並列に分割する推論のみのプランナーフリーな手法である。
  論文  参考訳（メタデータ） (2025-06-23T18:49:23Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。