論文の概要: Progressive Refinement Regulation for Accelerating Diffusion Language Model Decoding

• arxiv url: http://arxiv.org/abs/2603.04514v1
• Date: Wed, 04 Mar 2026 19:04:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:10.93146
• Title: Progressive Refinement Regulation for Accelerating Diffusion Language Model Decoding
• Title（参考訳）: 拡散言語モデル復号の高速化のためのプログレッシブ・リファインメント・レギュレーション
• Authors: Lipeng Wan, Jianhui Gu, Junjie Ma, Jianguo Huang, Shiguang Sun, Siyuan Li, Xuguang Lan,
• Abstract要約: 本稿では, 軌道場改良制御フレームワークであるemphProgressive Refinement Regulation (PRR)を提案する。 PRRは軽量なトークンワイドコントローラを学習し、温度ベースの分布整形による精細化を調節する。 実験の結果,PRRは生成品質を維持しながら拡散言語モデルのデコードを大幅に高速化することがわかった。
• 参考スコア（独自算出の注目度）: 18.99795632160924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models generate text through iterative denoising under a uniform refinement rule applied to all tokens. However, tokens stabilize at different rates in practice, leading to substantial redundant refinement and motivating refinement control over the denoising process. Existing approaches typically assess refinement necessity from instantaneous, step-level signals under a fixed decoding process. In contrast, whether a token has converged is defined by how its prediction changes along its future refinement trajectory. Moreover, changing the refinement rule reshapes future refinement trajectories, which in turn determine how refinement rules should be formulated, making refinement control inherently dynamic. We propose \emph{Progressive Refinement Regulation} (PRR), a progressive, trajectory-grounded refinement control framework that derives a token-level notion of empirical convergence progress from full decoding rollouts. Based on this signal, PRR learns a lightweight token-wise controller to regulate refinement via temperature-based distribution shaping under a progressive self-evolving training scheme. Experiments show that PRR substantially accelerates diffusion language model decoding while preserving generation quality.
• Abstract（参考訳）: 拡散言語モデルは、すべてのトークンに適用された一様精製規則の下で反復的復調によってテキストを生成する。 しかし、トークンは実際には異なる速度で安定しており、実質的な冗長な精細化と、精細化プロセスに対する精細化制御の動機となっている。 既存のアプローチは通常、固定復号化プロセスの下で、瞬時にステップレベルの信号から精細化の必要性を評価する。 対照的に、トークンが収束したかどうかは、その予測が将来の洗練軌道に沿ってどのように変化するかによって定義される。 さらに, 改質則の変更は, 今後の改質軌道を想起させ, 改質規則をどう定式化すべきかを判断し, 改質制御を本質的に動的にする。 完全復号ロールアウトから経験的収束のトークンレベルの概念を導出する,進行的かつトラジェクティブな改良制御フレームワークである 'emph{Progressive Refinement Regulation} (PRR) を提案する。 この信号に基づいて、PRRは、プログレッシブ自己進化トレーニングスキームの下で、温度ベースの分布整形による洗練を規制する軽量なトークンワイドコントローラを学習する。 実験の結果,PRRは生成品質を維持しながら拡散言語モデルのデコードを大幅に高速化することがわかった。

関連論文リスト

• A$^{2}$V-SLP: Alignment-Aware Variational Modeling for Disentangled Sign Language Production [0.9384603486206738]
  A$2$V-SLPは、決定論的埋め込みよりも、調音的に非絡み合った潜在分布を学習する。 不整合変分オートコーダは、接地トラス符号ポーズシーケンスを符号化し、調音器固有の平均および分散ベクトルを抽出する。
  論文  参考訳（メタデータ） (2026-02-12T12:07:32Z)
• Reversible Diffusion Decoding for Diffusion Language Models [69.10149777322108]
  Reversible Diffusion Decoding (RDD) はブロックワイド拡散生成に可逆性を導入するデコーディングフレームワークである。 RDDは、逆プロセスの状態依存的な障害として停滞を検出し、以前のブロックへの効率的なバックトラックを可能にする。 実験により、RDDは最小の計算オーバーヘッドでベースラインよりも生成の堅牢性と品質を向上させることが示された。
  論文  参考訳（メタデータ） (2026-01-29T12:52:33Z)
• ILRR: Inference-Time Steering Method for Masked Diffusion Language Models [8.458339111154585]
  単一の参照シーケンスを用いてDLMを操る学習自由フレームワークであるIterative Latent Representation Refinement (ILRR)を紹介する。 ILRRは、生成したシーケンスの内部アクティベーションを、デノナイジングプロセスを通して所定の参照のアクティベーションと動的に調整することで生成をガイドする。 さらに、短い参照を用いて長いテキストをステアリングできる拡張である空間変調ステアリングを導入し、シーケンス間のガイダンス強度を調節する。
  論文  参考訳（メタデータ） (2026-01-29T12:48:59Z)
• Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
  強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。 しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。 本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-03T13:05:32Z)
• WavefrontDiffusion: Dynamic Decoding Schedule or Improved Reasoning [39.57157800995735]
  本稿では,アクティブトークンのウェーブフロントを最終位置から外へ拡張する動的デコード手法であるWavefrontDiffusionを提案する。 推論とコード生成の4つのベンチマークで、WavefrontDiffusionは最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-22T07:33:00Z)
• From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model [72.73512218682187]
  ReDiff(Refining-enhanced diffusion framework)は、モデルに自身のエラーを特定し、修正するように教えるフレームワークである。 まず、合成エラーを修正するためにモデルをトレーニングすることで、基礎的なリビジョン機能を具現化し、次に、新しいオンライン自己補正ループを実装します。 この誤り駆動学習は、モデルに既存の出力を再検討し、洗練する重要な能力を与え、エラーカスケードを効果的に破壊する。
  論文  参考訳（メタデータ） (2025-10-22T06:58:55Z)
• Confidence-Modulated Speculative Decoding for Large Language Models [0.0]
  本稿では,信頼度変調された起草に基づく投機的復号化のための情報理論フレームワークを提案する。 機械翻訳と要約タスクの実験は、標準的な投機的復号化よりも大幅に高速化された。
  論文  参考訳（メタデータ） (2025-08-21T09:06:31Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [56.30231216917128]
  FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。 各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。 FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
  論文  参考訳（メタデータ） (2025-02-16T13:54:32Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。