論文の概要: Understanding and Accelerating the Training of Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2605.13026v1
• Date: Wed, 13 May 2026 05:29:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.826713
• Title: Understanding and Accelerating the Training of Masked Diffusion Language Models
• Title（参考訳）: マスケ拡散言語モデルの理解と学習促進
• Authors: Chunsan Hong, Sanghyun Lee, Chieh-Hsin Lai, Satoshi Hayakawa, Yuhta Takida, Yuki Mitsufuji, Seungryong Kim, Jong Chul Ye,
• Abstract要約: マズード拡散モデル(MDM)は、言語モデリングのための自己回帰モデル(ARM)に代わる有望な代替品として登場した。 最終性能を維持しながら、標準MDMトレーニングを加速する方法を示す。 また、様々なベンチマークにおいて、生成パープレキシティ、ゼロショットパープレキシティ、ダウンストリームタスク性能の高速化を示す。
• 参考スコア（独自算出の注目度）: 104.60946175023008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion models (MDMs) have emerged as a promising alternative to autoregressive models (ARMs) for language modeling. However, MDMs are known to learn substantially more slowly than ARMs, which may become problematic when scaling MDMs to larger models. Therefore, we ask the following question: how can we accelerate standard MDM training while maintaining its final performance? To this end, we first provide a detailed analysis of why MDM training is slow. We find that the main factor is the locality bias of language: the predictive information for a token is concentrated in nearby positions. We further investigate how this bias slows learning and suggest a simple yet effective remedy: bell-shaped time sampling as a training strategy. Notably, MDMs trained with our training recipe reach the same validation negative log-likelihood (NLL) up to $\sim4\times$ faster than standard training on One Billion Word Benchmark (LM1B). We also show faster improvements in generative perplexity, zero-shot perplexity, and downstream task performance on various benchmarks.
• Abstract（参考訳）: マズード拡散モデル(MDM)は、言語モデリングのための自己回帰モデル(ARM)に代わる有望な代替品として登場した。 しかし、MDMはARMよりもかなりゆっくりと学習することが知られており、より大きなモデルにMDMをスケールする際に問題となる可能性がある。 したがって、我々は、最終性能を維持しながら、どうやって標準MDMトレーニングを加速できるのか、という疑問を提起する。 この目的のために、まず、MDMトレーニングが遅い理由を詳細に分析する。 主な要因は言語の局所性バイアスであり,トークンの予測情報は近傍の位置に集中している。 さらに、このバイアスが学習を遅くし、単純で効果的な治療法であるベル型の時間サンプリングをトレーニング戦略として提案する。 特に、トレーニングレシピでトレーニングされたMDMは、100億ワードベンチマーク(LM1B)の標準トレーニングよりも高速な$\sim4\timesまで、同じバリデーションの負のログライクリフ(NLL)に達します。 また、様々なベンチマークにおいて、生成パープレキシティ、ゼロショットパープレキシティ、ダウンストリームタスク性能の高速化を示す。

関連論文リスト

• On the Trainability of Masked Diffusion Language Models via Blockwise Locality [58.92209096047332]
  マスク付き拡散言語モデル (MDMs) は、最近、標準自己回帰型大言語モデル (AR-LLMs) に代わる有望な代替品として登場した。 ブロックワイズMDMを解析し,AR-LLMと比較し,構造生成の異なる側面を強調する3つの制御タスクについて検討した。 標準ランダムマスキングMDMは線形回帰を確実に学習できず、グラフパスフィニングにおいて高分散トレーニングダイナミクスを示し、スドクではAR-LLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-27T17:44:26Z)
• MDiff4STR: Mask Diffusion Model for Scene Text Recognition [59.79818820650126]
  Mask Diffusion Models (MDM) は、視覚言語タスクのための自動回帰モデル (ARM) に代わる有望な代替品として登場した。 我々は,認識効率は向上するが,バニラMDMがARMに遅れていることを示す。 シーンテキスト認識に適した2つの重要な改善戦略を備えたマスク拡散モデルMDiff4STRを提案する。
  論文  参考訳（メタデータ） (2025-12-01T08:57:51Z)
• Bringing Stability to Diffusion: Decomposing and Reducing Variance of Training Masked Diffusion Models [8.964977926797173]
  マスク付き拡散モデル(MDMs)は自己回帰モデル(ARMs)に代わる有望な代替品である 高い分散は、よりノイズの多い勾配推定と不安定な最適化をもたらすため、同様に強い事前訓練されたMDMやARMもタスク固有の訓練後に分岐する。 A)マスキングパターンノイズ,(B)マスキングレートノイズ,(C)データノイズの3つの源にMDMトレーニングのばらつきを初めて分解した。
  論文  参考訳（メタデータ） (2025-11-22T19:04:47Z)
• Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions [14.85882273040068]
  仮面拡散モデル (MDMs) は、離散領域にまたがる生成的モデリングのための有望な代替手法として登場した。 適応推論は、事前訓練されたMDMの精度を7$%から90$%に向上させ、ARMを7times$のパラメータで上回ります。
  論文  参考訳（メタデータ） (2025-02-10T18:47:21Z)
• Scaling up Masked Diffusion Models on Text [43.16800764711572]
  仮面拡散モデル(MDM)は言語モデリングにおいて有望であることを示す。 本稿では,MDMのスケーリングに関する最初の法則を確立する。 我々は、最大11億(B)のパラメータを持つMDMのファミリーをトレーニングし、そのパフォーマンスをより大きなサイズに対して評価する。
  論文  参考訳（メタデータ） (2024-10-24T08:01:22Z)
• Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling [47.82616476928464]
  仮面拡散モデル (MDM) は離散データの生成モデルとして人気がある。 我々はMDMのトレーニングとサンプリングの両方が理論的に時間変数から解放されていることを示す。 一般に使用されている32ビット浮動小数点精度においても,まず基礎となる数値問題を同定した。
  論文  参考訳（メタデータ） (2024-09-04T17:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。