論文の概要: LED: Improving Masked Diffusion Language Models by Lookahead Editing

• arxiv url: http://arxiv.org/abs/2610.23122v1
• Date: Fri, 16 Oct 2026 08:29:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.829101
• Title: LED: Improving Masked Diffusion Language Models by Lookahead Editing
• Title（参考訳）: LED:ルックアヘッド編集によるマスケ拡散言語モデルの改善
• Abstract要約: 拡散大言語モデル (dLLMs) は自己回帰型言語モデルに代わる有望な代替品として登場した。 ここでは、マスクベースの遷移スケジュールのため、MDMの最適化が容易であるが、計算表現性が低いことを示す。 提案するLookahead Editing (ours) は、マスク付き拡散復号を書き換え可能な提案状態で拡張する。
• 参考スコア（独自算出の注目度）: 24.44584729110471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion large language models (dLLMs) have emerged as a promising alternative to autoregressive language models, enabling non-autoregressive text generation through parallel decoding. Existing dLLMs can be broadly categorized into two families: masked diffusion models (MDMs) and uniform diffusion models (UDMs) In this work, we theoretically show that MDMs are easier to optimize due to their mask-based transition schedule but have lower computational expressivity, whereas UDMs enable iterative state revision and greater expressivity but are substantially harder to train. This trade-off raises a natural question: can we obtain the expressivity of iterative revision without giving up the simple, easy-to-optimize transition schedule of MDMs? Motivated by this analysis, we propose Lookahead Editing (\ours{}), which augments masked diffusion decoding with a rewritable proposal state. At each decoding step, the model performs several lookahead updates to iteratively refine future predictions in this proposal state before committing tokens to the masked sequence. This design introduces a rewritable proposal that uses additional compute to improve expressivity while keeping the simple mask-based transition schedule of MDMs. We fine-tune Qwen2.5-7B and Qwen3-8B to obtain LED-\texttt{7B} and LED-\texttt{8B}, respectively. Across eight benchmarks, LED SFT yields average gains of $+11.4$ and $+7.7$ points over standard MDM SFT. Moreover, using SFT alone, LED-\texttt{8B} outperforms LLaDA2.1-16B Q-mode, which is trained with continued pre-training, supervised fine-tuning, and reinforcement learning.
• Abstract（参考訳）: 拡散型大規模言語モデル (dLLM) は自動回帰型言語モデルに代わる有望な代替として登場し、並列復号による非自己回帰型テキスト生成を可能にしている。 既存のdLLMは, マスク拡散モデル (MDM) と均一拡散モデル (UDM) の2つのファミリーに分類される。本稿では, MDM はマスクベースの遷移スケジュールにより最適化が容易であるが, 計算表現率も低いのに対して, UDM は反復状態修正とより大きな表現率を実現することができるが, 訓練は極めて困難であることを示す。 このトレードオフは、MDMの単純で、最適化が容易な移行スケジュールを諦めることなく、反復的リビジョンの表現性を得ることができるかという自然な疑問を提起する。 この分析で動機付けられたLookahead Editing (\ours{}) を提案する。 各デコードステップにおいて、このモデルは、マスクされたシーケンスにトークンをコミットする前に、この提案状態において、反復的に将来の予測を洗練するためのいくつかのルックアヘッド更新を実行する。 この設計は、MDMの単純なマスクベースの遷移スケジュールを維持しながら、表現性を改善するために追加の計算を使用する書き換え可能な提案を導入する。 それぞれ Qwen2.5-7B と Qwen3-8B を微調整して LED-\texttt{7B} と LED-\texttt{8B} を得る。 8つのベンチマークで、LED SFT は標準の MDM SFT よりも+11.4$ と$+7.7$ の平均利得を得る。 さらに、SFTのみを用いることで、LED-\texttt{8B} は LLaDA2.1-16B Qモードより優れ、継続事前トレーニング、教師付き微調整、強化学習で訓練される。

関連論文リスト

• Masked Language Flow Models [10.204151640924454]
  フロー言語モデル(FLM)は、ノイズをクリーンなシーケンスへ輸送する連続的な流れを学習することで、この制限を横切る。 本研究では,マスキングをFLMに組み込んだMLFM(Masked Language Flow Models)を導入する。 フローベースの言語モデルがダウンストリーム推論や命令追従タスクを解決するために,初めてスケールできることが分かりました。
  論文  参考訳（メタデータ） (2026-06-26T00:16:40Z)
• Infinite Mask Diffusion for Few-Step Distillation [16.340935269530842]
  Masked Diffusion Models (MDM) は、言語モデリングにおける自己回帰モデルに代わる有望な代替品として登場した。 MDMの利点を継承しながら理論的境界を緩和するための無限マスク拡散モデル(IMDM)を提案する。 IMDM は LM1B と OpenWebText の小さなステップ数で既存の数ステップの蒸留法を超越している。
  論文  参考訳（メタデータ） (2026-05-11T13:07:03Z)
• Unifying Masked Diffusion Models with Various Generation Orders and Beyond [56.70289720766803]
  仮面拡散モデル(MDM)は、言語生成のための自己回帰モデル(ARM)の潜在的な代替品である。 広範な拡散生成過程のための秩序表現型マスク拡散モデル(OeMDM)を提案する。 生成順序と拡散バックボーンを共同で学習する学習順マスク拡散モデル(LoMDM)を導入する。
  論文  参考訳（メタデータ） (2026-02-02T13:54:32Z)
• Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models [46.151072011636444]
  EvoToken-DLMは、ハードバイナリマスクをソフトトークン分布に置き換える、拡散に基づく新しい言語モデリング手法である。 EvoToken-DLMは優れた性能を実現し、強力な拡散ベースとマスク付きDLMベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-01-12T09:25:14Z)
• Soft-Masked Diffusion Language Models [35.191030145577145]
  マスクトークンの埋め込みと,上位k$の予測トークンの埋め込みを動的にブレンドする新しい手法であるソフトマスキング(SM)を導入する。 SMを用いた169Mパラメータモデルの事前学習を継続すると、パープレキシティとMAUVEスコアが向上することを示した。 最新の拡散モデルDream-7BとDream-Coder-7BをSMで微調整する。
  論文  参考訳（メタデータ） (2025-10-20T06:42:03Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Any-Order Flexible Length Masked Diffusion [53.89217188409148]
  マスク付き拡散モデル(MDMs)は、最近、離散領域上の自己回帰モデルに代わる有望な代替として登場した。 本稿では,フレキシブルマスク付き拡散モデル (FlexMDM) を紹介する。 我々は,FlexMDMがMDMと複雑度を一致させながら,より忠実度の高い長さ統計をモデル化することを示した。
  論文  参考訳（メタデータ） (2025-08-31T23:34:53Z)
• Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding [53.82301522384719]
  Dimple, the first Discrete Multimodal Large Language Model (DMLLM)を提案する。 我々は,初期自己回帰フェーズとその後の拡散フェーズを組み合わせた新しい訓練パラダイムを設計する。 Dimple-7BはLLaVA-を3.9%上回り、DMLLMは自己回帰モデルに匹敵する性能を達成できることを示した。
  論文  参考訳（メタデータ） (2025-05-22T17:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。