論文の概要: Revisiting the 16x Pretraining Compute Gap between Diffusion and Autoregressive Language Models

• arxiv url: http://arxiv.org/abs/2610.17590v1
• Date: Tue, 13 Oct 2026 02:08:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.489626
• Title: Revisiting the 16x Pretraining Compute Gap between Diffusion and Autoregressive Language Models
• Title（参考訳）: 拡散型言語モデルと自己回帰型言語モデルの間の16x前処理ギャップの再検討
• Abstract要約: 広く引用されている研究によると、DLMはその可能性に合わせるために、ARMのトレーニング計算の約16倍を必要としている。 我々は、DLMのスケーリング法則を再検討し、モデル独自の復号順序の下で正確な可能性を採用する。 事前学習DLMは以前考えられていたよりもはるかに安価であることがわかった。
• 参考スコア（独自算出の注目度）: 28.364694634940175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) have attracted wide attention for their fast, parallel decoding, but they are believed to be far less efficient to train than autoregressive language models (ARMs): a widely cited study reports that a DLM needs roughly 16x the training compute of an ARM to match its likelihood, a figure that has made pretraining DLMs from scratch look prohibitive at scale. We find that the methodology behind this figure has fallen out of step with current DLM practice: it scores the model with its evidence lower bound (ELBO) and trains a full-sequence, decoder-only model. We therefore revisit the scaling laws of DLMs, adopting the exact likelihood under the model's own decoding order, block diffusion training, an encoder-decoder architecture, and a sweep over the block sizes used in practice. Under this new protocol, we study across ten model variants, about 1,700 models in total, and find that pretraining DLMs is far cheaper than previously thought. Concretely, scoring with the exact likelihood reduces the compute multiple to 12.8x; block diffusion training and an encoder-decoder architecture further reduce it to 7.8x at block size 32, and smaller block sizes narrow it to 4.6x at block size 8 and 3.0x at block size 4. We complement these scaling analyses with an empirical rule for the optimal decoder depth of encoder-decoder block diffusion, a held-out compute budget beyond the fitting range at which the gap between variants persists, and downstream benchmark results where likelihood improvements carry over to accuracy. Overall, the 16x figure substantially overstates the pretraining cost gap between DLMs and ARMs, and pretraining DLMs from scratch is far more viable than previously assumed.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、高速で並列な復号化のために広く注目を集めているが、自動回帰言語モデル(ARM)よりも訓練の効率がはるかに低いと考えられている。 この図の背景にある方法論は、現在のDLMの実践から外れており、その証拠を低境界(ELBO)でスコアし、フルシーケンスでデコーダのみのモデルを訓練している。 したがって、DLMのスケーリング法則を再検討し、モデル独自の復号順序、ブロック拡散訓練、エンコーダ・デコーダアーキテクチャ、実際に使用されるブロックサイズを網羅する。 本プロトコルでは,10種類のモデル,約1,700種類のモデルについて検討し,事前学習型DLMは従来考えられていたよりもはるかに安価であることを確認した。 ブロック拡散訓練とエンコーダデコーダアーキテクチャにより、ブロックサイズ32では7.8xに、ブロックサイズ8では4.6xに、ブロックサイズ4では3.0xに縮小される。 我々はこれらのスケーリング分析を、エンコーダ・デコーダブロック拡散の最適デコーダ深さに関する実証的なルール、変種間のギャップが持続するフィッティング範囲を超えた計算予算、改善の可能性が精度にかかわるダウンストリームベンチマークにより補完する。 全体として16倍の数値は、DLMとARMの間の事前訓練コストのギャップを著しく過大評価しており、スクラッチからDLMを事前訓練することは、以前想定していたよりもはるかに有効である。

関連論文リスト

• Multi-Block Diffusion Language Models [46.581695254036]
  ブロック拡散言語モデル(BD-LM)は、KVキャッシングとフレキシブルな長文生成により拡散ベースのテキスト生成を改善する。 マルチブロック教師強制(MultiTF)を用いたBD-LMの訓練後得られたマルチブロック拡散言語モデル(MBD-LM)を提案する。 MBD-LLaDA2-Miniは平均Tokens Per Forward Pass (TPF)を3.47から6.19に増加させ、平均精度を79.95%から81.03%に向上させる。 DMaxと組み合わせると、MBD-LLaDA2-Mini-DMaxの平均TPFは9.34である。
  論文  参考訳（メタデータ） (2026-06-28T05:53:45Z)
• Introspective Diffusion Language Models [58.91876345013321]
  イントロスペクティブ拡散言語モデル(Introspective Diffusion Language Model, I-DLM)は、ARトレーニングのイントロスペクティブ一貫性を継承しながら並列デコードを維持するパラダイムである。 I-DLMは、新しいintrospective strided decoding (ISD)アルゴリズムを使用しており、モデルは同じ前方パスで新しいトークンを前進させながら、以前に生成されたトークンを検証することができる。 I-DLMは、同規模のARの質に匹敵する最初のDLMであり、モデル品質と15ベンチマークでの実用効率の両方において、以前のDLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-13T06:01:01Z)
• Stable-DiffCoder: Pushing the Frontier of Code Diffusion Large Language Model [35.59660517313579]
  拡散ベース言語モデル(DLLM)は、自己回帰(AR)モデルと比較して、非順序、ブロックワイズ、リッチなデータ再利用を提供する。 私たちは、Seed-Coderアーキテクチャ、データ、トレーニングパイプラインを再利用するブロック拡散コードモデルであるStable-DiffCoderを紹介します。
  論文  参考訳（メタデータ） (2026-01-22T12:13:17Z)
• Scaling Behavior of Discrete Diffusion Language Models [74.72926629897636]
  離散拡散言語モデル(DLM)の様々なノイズタイプに対するスケーリング挙動について検討する。 実験の結果,DLMのスケーリング挙動はノイズの種類によって大きく異なり,ALMとはかなり異なることがわかった。 均一拡散モデルを1022ドルのFLOPでトレーニングした10Bパラメータまで拡張し、予測されたスケーリング挙動を確認し、現在までに最も広く知られている均一拡散モデルとした。
  論文  参考訳（メタデータ） (2025-12-11T17:54:10Z)
• From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
  原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。 NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-12-07T10:28:21Z)
• Encoder-Decoder or Decoder-Only? Revisiting Encoder-Decoder Large Language Model [30.945523139748634]
  我々は、エンコーダ-デコーダ LLM (RedLLM) を再検討し、デコーダ専用 LLM (DecLLM) の最近のレシピで拡張する。 我々は、プレフィックス言語モデリング(LM)で事前訓練されたRedLLMと、因果的LMで事前訓練されたDecLLMとを、異なるモデルスケールで総合的に比較する。 プレトレーニングにRedPajama V1(1.6Tトークン)、インストラクションチューニングにFLANを用いることで、RedLLMは魅力的なスケーリング特性と驚くほど強力なパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2025-10-30T15:48:28Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• I Think, Therefore I Diffuse: Enabling Multimodal In-Context Reasoning in Diffusion Models [50.34197948438868]
  ThinkDiffは、マルチモーダルなインコンテキスト理解と推論機能を備えたテキストから画像への拡散モデルを強化するアライメントパラダイムである。 我々はThinkDiffの精度が19.2%から46.3%に大幅に向上したことを示す。 また、複数の画像やテキストを論理的に一貫性のある画像に合成する際、例外的な性能を示す。
  論文  参考訳（メタデータ） (2025-02-12T05:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。