論文の概要: Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding
- arxiv url: http://arxiv.org/abs/2607.05722v1
- Date: Tue, 07 Jul 2026 01:09:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.359515
- Title: Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding
- Title（参考訳）: Nemotron-Labs-Diffusion: 自己回帰、拡散、自己特異復号を統一した3モード言語モデル
- Abstract要約: ネモトロン・ラボ・ディフュージョン(Nemotron-Labs-Diffusion)は、AR、拡散、自己特定復号を単一のアーキテクチャで統一する三モード言語モデル(LM)である。
Nemotron-Labs-Diffusionは、モードを切り替えて、デプロイメント設定とレベルの高いスループットを維持することができる。
- 参考スコア（独自算出の注目度）: 75.88721816842397
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Nemotron-Labs-Diffusion, a tri-mode language model (LM) that unifies AR, diffusion, and self-speculation decoding within a single architecture. Trained with a joint AR-diffusion objective, Nemotron-Labs-Diffusion can switch modes to sustain high throughput across deployment settings and concurrency levels. Our study shows that (1) AR and diffusion objectives are complementary: diffusion improves lookahead planning, while AR provides left-to-right linguistic priors. (2) In self-speculation mode, diffusion drafts while AR verifies, outperforming multi-token prediction (MTP) methods in both acceptance rate and real-device efficiency. (3) A speed-of-light analysis further demonstrates diffusion's long-term potential, with up to 76.5% more tokens per forward pass than self-speculation under an optimal sampler. Scaling to 3B, 8B, and 14B parameters, our Nemotron-Labs-Diffusion family, including base, instruct, and vision-language models, consistently outperforms state-of-the-art open-source AR and diffusion LMs in both accuracy and speed. For example, Nemotron-Labs-Diffusion-8B decodes 6x more tokens per forward than Qwen3-8B with comparable accuracy, translating to 4x higher throughput on SPEED-Bench with SGLang on a GB200 GPU.
- Abstract（参考訳）: 単一アーキテクチャ内でAR,拡散,自己表現復号を統一する三モード言語モデル(LM)であるNemotron-Labs-Diffusionを導入する。
共同AR拡散目標でトレーニングされたNemotron-Labs-Diffusionは、モードを切り替えて、デプロイメント設定と並行処理レベルをまたいだ高いスループットを維持することができる。
本研究は,(1)ARと拡散目標が相補的であることを示す。
2)自己特定モードでは,AR中の拡散ドラフトは,受入率と実デバイス効率の両方において,マルチトーケン予測法(MTP)よりも優れていた。
(3)光速分析は拡散の長期的ポテンシャルをさらに示し、最適なサンプリング装置の下での自己定義よりも前方通過当たりのトークンが76.5%多い。
ベース、インストラクション、ビジョン言語モデルを含む、Nemotron-Labs-Diffusionファミリの3B、8B、14Bパラメータへのスケーリングは、最先端のオープンソースARと拡散LMを精度とスピードの両方で一貫して上回ります。
例えば、Nemotron-Labs-Diffusion-8Bは、Qwen3-8Bよりも前方に6倍のトークンをデコードし、GB200 GPU上のSGLangでSPEED-Bench上の4倍のスループットに変換する。
関連論文リスト
- Unlocking Lossless Speedups in LLMs via Discrete Diffusion [67.4336730000437]
大規模言語モデル(LLM)は、その成功の大部分は、次世代の予測(NTP)に負っている。
本稿では,ARモデル分布を定義する新しいモデルのクラスである拡散拡張LDMを紹介する。
我々はこれらのモデルのパラメータを2つのセットに分割する: AR重み、標準NTP目標を用いたトレーニング、軽量拡散重み、同時に複数のトークンを生成する訓練。
論文 参考訳（メタデータ） (2026-09-03T15:48:43Z) - LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。
我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。
23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
論文 参考訳（メタデータ） (2026-08-04T10:53:02Z) - DiffusionGemma Technical Report [72.10570774996219]
DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。
DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。
私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
論文 参考訳（メタデータ） (2026-07-31T16:11:46Z) - Introspective Diffusion Language Models [58.91876345013321]
イントロスペクティブ拡散言語モデル(Introspective Diffusion Language Model, I-DLM)は、ARトレーニングのイントロスペクティブ一貫性を継承しながら並列デコードを維持するパラダイムである。
I-DLMは、新しいintrospective strided decoding (ISD)アルゴリズムを使用しており、モデルは同じ前方パスで新しいトークンを前進させながら、以前に生成されたトークンを検証することができる。
I-DLMは、同規模のARの質に匹敵する最初のDLMであり、モデル品質と15ベンチマークでの実用効率の両方において、以前のDLMよりも優れていた。
論文 参考訳（メタデータ） (2026-04-13T06:01:01Z) - LLaDA-o: An Effective and Length-Adaptive Omni Diffusion Model [77.66516875262963]
マルチモーダル理解・生成のための有効長適応オムニ拡散モデルである textbfLLaDA-o を提案する。
MoD上に構築されたデータ中心長適応戦略により,マルチモーダル環境でのフレキシブルなデコーディングを実現する。
実験により、LLaDA-oはマルチモーダル理解および生成ベンチマーク上でのオムニ拡散モデル間の最先端性能を実現することが示された。
論文 参考訳（メタデータ） (2026-03-01T12:05:06Z) - DiffusionVL: Translating Any Autoregressive Models into Diffusion Vision Language Models [43.99949601044522]
拡散視覚言語モデル (dVLM) は依然として主流モデルよりもかなり遅れている。
我々は、任意の強力なARモデルから変換可能なdVLMファミリーであるDiffusionVLを提案する。
DiffusionVLは、MMMU-Pro(vision)ベンチで34.4%、MME(Cog)ベンチで37.5%という総合的なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2025-12-17T18:59:55Z) - Breaking the Bottleneck with DiffuApriel: High-Throughput Diffusion LMs with Mamba Backbone [6.76700377196741]
両方向マンバのバックボーン上に構築されたマスク付き拡散言語モデルであるDiffuAprielを紹介する。
この結果から, 双方向状態空間アーキテクチャは, マスク拡散LMの強力なデノイザとして機能することが示唆された。
論文 参考訳（メタデータ） (2025-11-19T23:23:49Z) - LLaDA-MoE: A Sparse MoE Diffusion Language Model [88.96960440635992]
LLaDA-MoEはMixture-of-Experts (MoE)アーキテクチャを持つ大規模言語拡散モデルである。
LLaDA-MoEは計算オーバーヘッドを大幅に削減して競合性能を達成する。
この結果から,マスク拡散言語モデルの学習目標に疎結合したMoEアーキテクチャを組み込むことで,MoEの強みがもたらされることが示唆された。
論文 参考訳（メタデータ） (2025-09-29T07:38:59Z) - Beyond Autoregression: Fast LLMs via Self-Distillation Through Time [1.5858234832499587]
拡散言語モデルでは,テキスト品質およびLAMBADA自然言語理解ベンチマークにおいて,少なくとも32個のトークンを同時に生成できることを示す。
実際には、1.3Bパラメータスケールでは、キャッシュなしでも拡散モデルはKVキャッシュを使用するARモデルよりも最大8倍高速なトークンを生成することができる。
論文 参考訳（メタデータ） (2024-10-28T13:56:30Z) - Scaling Diffusion Language Models via Adaptation from Autoregressive Models [105.70889434492143]
拡散言語モデル(DLM)は、テキスト生成モデルのための将来性のある新しいパラダイムとして登場した。
170Mから7BまでのARモデルをDiffuGPTとDiffuLLaMAの拡散モデルに変換し、200B未満のトークンでトレーニングできることを示す。
実験の結果,これらのモデルは初期のDLMよりも優れており,ARと競合していることがわかった。
論文 参考訳（メタデータ） (2024-10-23T14:04:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。