Large Language Continuous Diffusion Models
Abstractの概要
本論文では、離散トークン状態ではなく操作可能な16次元の潜在軌道上で動作する、3Bおよび8Bパラメータの連続拡散言語モデルファミリー「Sigma」を提案しています。Sigmaは尤度ベースの目的関数を用いてブロック単位で学習され、ガウスノイズが付加された埋め込みのノイズ除去と同時にトークン埋め込みの幾何構造を学習し、最適化の安定性を高めるために自己回帰型チェックポイントからAR正則化を伴ってウォームスタートされます。推論面では、埋め込み空間における分類器フリーガイダンス、スコア温度、自己条件付けを組み合わせたブロック単位のDDPMおよびDDIMサンプリングを分析しています。モデルはベースおよび教師ありファインチューニングの両環境において、数学的推論およびコーディングのベンチマークで評価され、少数ステップ生成、球面埋め込み正則化、並列デコーディング蒸留の調査も行われています。
新規性
主な新規性は、低次元の学習された連続軌道を用いて、条件付き推論およびコーディング向けに連続拡散言語モデルを3Bおよび8Bパラメータ規模にスケールさせた点にあります。また、埋め込み空間の分類器フリーガイダンスとスコア温度を利用した推論制御フレームワークを導入し、連続拡散言語モデル向けに調整された球面埋め込み正則化と並列デコーディング蒸留によって補完しています。
成果
ベースモデルのベンチマークにおいて、DDPMを用いたSigma-8BはGSM8Kで89.07%、Minerva Mathで67.47%、6タスクの平均で69.67%を達成し、Nemotron-Labs-Diffusion-8B（70.22%）などの最先端の離散拡散ベースラインに匹敵する性能を示しました。MBPPのpass@k評価では、Sigma-3Bはk=32以降でNemotron-Labs-Diffusionを上回り、k=256において87.6%に対して91.8%に達しました。さらに、球面埋め込み正則化と並列デコーディング蒸留を組み合わせることで、ブロックあたり4〜8ステップという低いNFEでの生成が大幅に改善されました。
論文の注目点
- Sigmaは、学習された16次元の連続潜在軌道上で動作し、尤度最適化によってブロック単位で学習される初の大規模（3B/8B）連続拡散言語モデルファミリーとして提案された。
- 埋め込み空間における分類器フリーガイダンスとスコア温度により、最小限の計算オーバーヘッドで品質と多様性のトレードオフを制御する効果的な推論操作が実現される。
- 実証評価により、離散拡散ベースラインに対して競争力のある推論およびコーディング性能が示され、球面埋め込み正則化と並列デコーディング蒸留によって少数ステップ生成の頑健性が向上した。