論文の概要: Edit-Based Refinement for Parallel Masked Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2605.09603v1
- Date: Sun, 10 May 2026 15:31:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 02:24:05.534224
- Title: Edit-Based Refinement for Parallel Masked Diffusion Language Models
- Title（参考訳）: 並列マスク付き拡散言語モデルのための編集ベース精細化
- Authors: Houxing Ren, Mingjie Zhan, Zimu Lu, Ke Wang, Yunqiao Yang, Haotian Hou, Junting Pan, Hongsheng Li,
- Abstract要約: マスク付き拡散言語モデルは並列トークン生成を可能にし、復号効率を向上させる。
本稿では,軽量な後編集ステップで拡散生成を増強する編集ベース改良フレームワークME-DLMを提案する。
本手法は,HumanEvalで11.6点,GSM8Kで33.6点,全拡散ステップの8分の1を用いて一貫したゲインを得る。
- 参考スコア（独自算出の注目度）: 47.05195944319345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Masked diffusion language models enable parallel token generation and offer improved decoding efficiency over autoregressive models. However, their performance degrades significantly when generating multiple tokens simultaneously, due to a mismatch between token-level training objectives and joint sequence consistency. In this paper, we propose ME-DLM, an edit-based refinement framework that augments diffusion generation with lightweight post-editing steps. After producing an initial complete response, the model refines it through minimal edit operations, including replacement, deletion, and insertion, conditioned on the full sequence. Training supervision is derived from edit distance, providing a deterministic signal under a fixed canonicalization scheme for learning minimal corrections. This approach encourages sequence-level consistency through globally conditioned edits while preserving the efficiency benefits of parallel diffusion decoding. Extensive experiments demonstrate that ME-DLM improves the quality and robustness of multi-token parallel generation. In particular, when built upon LLaDA, our method achieves consistent gains of 11.6 points on HumanEval and 33.6 points on GSM8K while using one-eighth of the total diffusion steps. Code is available at https://github.com/renhouxing/ME-DLM.
- Abstract（参考訳）: マスク付き拡散言語モデルは並列トークン生成を可能にし、自己回帰モデルよりもデコード効率が向上する。
しかし、トークンレベルのトレーニング目標とジョイントシーケンス一貫性のミスマッチのため、複数のトークンを同時に生成する場合、パフォーマンスは著しく低下する。
本稿では,軽量な後編集ステップで拡散生成を増強する編集ベース改良フレームワークME-DLMを提案する。
最初の完全なレスポンスを生成した後、モデルは、置換、削除、挿入を含む最小限の編集操作によって、全シーケンスで条件付きでそれを洗練する。
訓練指導は編集距離から導かれ、最小限の補正を学習するための固定正準化スキームの下で決定論的信号を提供する。
このアプローチは、並列拡散復号の効率性を維持しながら、グローバルな条件付き編集を通してシーケンスレベルの一貫性を促進する。
大規模実験により,ME-DLMはマルチトークン並列生成の品質とロバスト性を向上することが示された。
特にLLaDAをベースとした場合,HumanEvalでは11.6点,GSM8Kでは33.6点,全拡散ステップの8分の1を用いて一貫した利得が得られる。
コードはhttps://github.com/renhouxing/ME-DLM.comで入手できる。
関連論文リスト
- Causal Autoregressive Diffusion Language Model [70.7353007255797]
CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。
我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
論文 参考訳（メタデータ） (2026-01-29T17:38:29Z) - Auto-Regressive Masked Diffusion Models [9.239507801466322]
仮面拡散モデル (MDM) は言語モデリングの有望なアプローチとして登場している。
自動回帰モデル(ARM)と比較してパフォーマンスのギャップがあり、より多くのトレーニングイテレーションが必要です。
本稿では,自己回帰型マスケッド拡散モデルを提案する。これは,自己回帰型モデルのトレーニング効率と,拡散型モデルの並列生成能力を統一するものである。
論文 参考訳（メタデータ） (2026-01-23T18:42:30Z) - Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。
APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
論文 参考訳（メタデータ） (2025-05-31T06:10:10Z) - Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。
本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。
本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
論文 参考訳（メタデータ） (2025-05-28T17:39:15Z) - Lossless Acceleration of Large Language Model via Adaptive N-gram Parallel Decoding [2.642212767247493]
適応的なN-gram並列デコーディング(ANPD)を導入し,複数のトークンを同時に生成することで推論を高速化する。
ANPDは、処理速度を向上しながら、元の出力の完全性を維持する。
実験では、LLaMAのようなモデルとその微調整されたモデルが3.67倍の速度向上を示した。
論文 参考訳（メタデータ） (2024-04-10T16:11:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。