論文の概要: Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison

• arxiv url: http://arxiv.org/abs/2603.22075v1
• Date: Mon, 23 Mar 2026 15:07:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.74479
• Title: Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison
• Title（参考訳）: 自己回帰対マスケ拡散言語モデル:制御された比較
• Authors: Caio Vicentino,
• Abstract要約: 自己回帰 (AR) とマスク拡散 (MDLM) 言語モデルを比較した。 どちらのモデルも、同じデータ(TinyStoriesの5000万トークン)、同じ計算予算(20,000ステップ、バッチサイズ32、シーケンス長512)、同じハードウェアでトレーニングされている。 両方のパラダイムは同等のトレーニングスループット(50Kトークン/秒)を達成し、MDLMは4.7%のウォールクロック時間しか必要としない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a controlled empirical comparison between autoregressive (AR) and masked diffusion (MDLM) language models. Both models are trained on identical data (50M tokens from TinyStories), identical compute budget (20,000 steps, batch size 32, sequence length 512), and identical hardware (NVIDIA H100 80GB), isolating the generation paradigm as the sole variable. We report three findings. First, both paradigms achieve comparable training throughput (~50K tokens/second), with MDLM requiring only 4.7% more wall-clock time. Second, AR converges faster and begins overfitting by step 14,000, while MDLM converges more slowly and is still improving at step 20,000, suggesting different compute-optimal training regimes. Third, quantitative diversity analysis over 1,000 generated samples reveals a structural diversity-fluency trade-off: AR produces fluent but repetitive outputs (99.8% begin with the same word), while MDLM generates more diverse narratives (93.4% unique 5-word openings, higher Distinct-n, lower Self-BLEU), at the cost of occasional grammatical inconsistencies. All code, trained checkpoints, and data pipelines are released for reproducibility.
• Abstract（参考訳）: 本稿では,自己回帰 (AR) とマスク拡散 (MDLM) 言語モデルの比較を行った。 どちらのモデルも、同じデータ(TinyStoriesの5000Mトークン)、同じ計算予算(20,000ステップ、バッチサイズ32、シーケンス長512)、同じハードウェア(NVIDIA H100 80GB)でトレーニングされており、生成パラダイムを唯一の変数として分離している。 我々は3つの発見を報告した。 まず、両方のパラダイムが同等のトレーニングスループット(約50Kトークン/秒)を達成し、MDLMは4.7%のウォールクロック時間しか必要としない。 第2に、ARはより速く収束し、ステップ14,000でオーバーフィッティングを始め、MDLMはよりゆっくりと収束し、ステップ20,000で改善され、異なる計算最適化トレーニング体制が提案されている。 第三に、1000個の生成されたサンプルに対する定量的な多様性分析は、構造的な多様性と周波数のトレードオフを明らかにしている: ARは、流動的で反復的な出力(99.8%は同じ単語から始まる)を生産し、一方、MDLMは、時折文法的不整合を犠牲にして、より多様な物語を生成する(93.4%のユニークな5ワードの開口部、より高い離散-n、低い自己-BLEU)。 すべてのコード、トレーニングされたチェックポイント、データパイプラインが再現性のためにリリースされている。

関連論文リスト

• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Balancing Understanding and Generation in Discrete Diffusion Models [58.62235340638143]
  Masked Diffusion Language Models (MDLM) は意味理解とゼロショットの一般化に優れる。 UDLM(Uniform-Noise Diffusion Language Models)は、強力な数ステップ生成品質を実現する。 定常雑音カーネルを介して2つのパラダイムをブリッジするXDLMを提案する。
  論文  参考訳（メタデータ） (2026-02-01T18:00:35Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• Multiverse: Your Language Models Secretly Decide How to Parallelize and Merge Generation [20.117825519637357]
  並列生成が可能な新しい生成モデルであるMultiverseを導入する。 次に,データ,アルゴリズム,システムの共設計キュレーションを用いた実世界のマルチバース推論モデルを構築した。 データ作成のために,自動LLM支援パイプラインであるMultiverse Curatorを開発した。 また、並列推論をサポートするために、Multiverse Engineを実装しています。
  論文  参考訳（メタデータ） (2025-06-11T17:59:23Z)
• Beyond Autoregression: Fast LLMs via Self-Distillation Through Time [1.5858234832499587]
  拡散言語モデルでは,テキスト品質およびLAMBADA自然言語理解ベンチマークにおいて,少なくとも32個のトークンを同時に生成できることを示す。 実際には、1.3Bパラメータスケールでは、キャッシュなしでも拡散モデルはKVキャッシュを使用するARモデルよりも最大8倍高速なトークンを生成することができる。
  論文  参考訳（メタデータ） (2024-10-28T13:56:30Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。