論文の概要: DSL-LLaDA: Scaling Continuous Denoising to 8B Masked Diffusion LMs

• arxiv url: http://arxiv.org/abs/2606.01024v1
• Date: Sun, 31 May 2026 05:27:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.084316
• Title: DSL-LLaDA: Scaling Continuous Denoising to 8B Masked Diffusion LMs
• Title（参考訳）: DSL-LLaDA: 8B Masked Diffusion LMへの継続的Denoisingのスケーリング
• Authors: Longxuan Yu, Yunshu Wu, Yu Fu, Siheng Xiong, Rob Brekelmans, Hui Liu, Yue Dong, Greg Ver Steeg,
• Abstract要約: マスク付きDLMは, 連続的な埋め込み空間の認知を支援するために, 軽量に適応可能であることを示す。 適応モデルは、埋め込み空間において全ての位置を共同で進化させる連続推論をサポートする。 DSL-LLaDA-SDEは4つのベンチマークで最高のROUGE-1を達成する。
• 参考スコア（独自算出の注目度）: 29.561307941602482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete Masked diffusion language models generate text by iterative parallel decoding, but few-step decoding suffers from a tradeoff between length and quality: with a fixed step budget, standard methods can generate a short, high-quality output, or they can produce long but repetitive text. Continuous denoising can sidestep this tradeoff by evolving all positions jointly in embedding space, but building such a model from scratch at scale remains an open problem. We show that a pretrained masked DLM can instead be lightly adapted to support continuous embedding-space denoising. Starting from LLaDA-8B-Instruct, we continue-pretrain for only 1,000 steps with Discrete Stochastic Localization (DSL), replacing binary masking with continuous per-token Gaussian noise as a soft mask. The adapted model supports continuous inference that evolves all positions jointly in embedding space and defers hard token commitment to the final step. On zero-shot summarization at low step budgets (<=16 forward passes), DSL-LLaDA-SDE achieves the best ROUGE-1 on all four benchmarks and largely avoids the premature-termination / repetition tradeoff of iterative unmasking. The same adaptation also yields selective noisy-state robustness: the model corrects corrupted tokens while preserving clean ones. Control experiments using standard masked diffusion training with the same compute demonstrate neither behavior.
• Abstract（参考訳）: 離散Masked拡散言語モデルは反復的並列復号法でテキストを生成するが、数ステップの復号法は長さと品質のトレードオフに悩まされる。 連続Denoisingは、埋め込み空間で全ての位置を共同で進化させることで、このトレードオフを回避できるが、そのようなモデルをスケールでスクラッチから構築することは、未解決の問題である。 予め訓練したマスク付きDLMは、連続的な埋め込み空間デノーミングをサポートするために軽量に適応できることを示す。 LLaDA-8B-Instructを皮切りに、離散確率的局所化(DSL)で1000段階のみ事前訓練を行い、二項マスクをソフトマスクとして連続的なガウスノイズに置き換える。 適応モデルは連続推論をサポートし、埋め込み空間において全ての位置を共同で進化させ、最終ステップへのハードトークンのコミットメントを無視する。 低ステップ予算でのゼロショット要約(=16フォワードパス)では、DSL-LLaDA-SDEは4つのベンチマークで最高のROUGE-1を達成し、反復的アンマスキーの早期終了/反復トレードオフを回避している。 モデルでは、クリーンなトークンを保存しながら、破損したトークンを補正する。 同じ計算を用いた標準的なマスク拡散訓練による制御実験は、どちらの挙動も示さない。

関連論文リスト

• Discrete Stochastic Localization for Non-autoregressive Generation [18.211690435751446]
  ボトルネックは連続性そのものではなく、時間段階のノイズレジームに依存しているような表現である、と我々は主張する。 emphDiscreteは,単位球面トークンを埋め込んだ連続状態フレームワークである。 1つのトレーニングされたネットワークは、特別なケースとしてエンドポイントのマスク付き拡散パスを持つ、トークンごとのSNRパスのファミリー全体をサポートする。
  論文  参考訳（メタデータ） (2026-05-13T00:12:24Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
  DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。 我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。 本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
  論文  参考訳（メタデータ） (2026-02-26T11:08:11Z)
• Zonkey: A Hierarchical Diffusion Language Model with Differentiable Tokenization and Probabilistic Attention [0.0]
  Zonkeyは階層的な拡散モデルであり、生文字から文書レベルの表現まで、完全にトレーニング可能なパイプラインを通じて制限に対処する。 コアとなるのは、確率的開始順序(BOS)決定を学習する、差別化可能なトークンである。 Zonkeyは、ノイズからコヒーレントで可変長のテキストを生成し、創発的な階層を示す。
  論文  参考訳（メタデータ） (2026-01-29T14:17:37Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。