Nemotron-Labs-Diffusion-Image: Advancing Masked Discrete Diffusion for High-Resolution Image Synthesis
Abstractの概要
本論文は、高解像度のテキストからの画像合成に向けた80億パラメータのマスク済み離散拡散モデル「Nemotron-Labs-Diffusion-Image (NLD-Image)」を提案している。本研究は、標準的なマスク済み離散拡散モデルの2つの限界（一度アンマスクされたトークンを修正できない点、および大きなトークナイザ語彙が学習シグナルを希薄にする点）を対象としている。これらの問題に対処するため、推論時の自己修正を可能にするトークン編集メカニズムと、コードブック内の意味的に関連するトークンに補助的な教師信号を与えるグループ化交差エントロピー目的関数を導入している。また、事前学習済みの拡散言語モデルで初期化されたデコーダ単体のTransformerを使用し、大語彙設定においてグループ化交差エントロピーを効率化するための最適化された融合演算子を導入している。
新規性
本論文の主な新規性は、明示的なトークン編集によって画像向けのマスク済み離散拡散モデルを拡張し、サンプリング中に過去にアンマスクされた画像トークンを修正可能にしたことである。また、大規模なコードブック向けに、標準的なワンホット学習やSNCEのような従来のソフトラベルアプローチとは異なる、階層的クラスタベースの目的関数であるグループ化交差エントロピーを導入した点も新しい。
成果
報告されているテキスト・画像生成ベンチマークにおいて、NLD-ImageはGenEvalで0.90、DPGで85.2、MJHQ-30k上で9.61 HPSv3に到達し、合成データでファインチューニングされた変種はDPGで86.9、HPSv3で10.76に達した。アブレーション実験から、トークン編集が様々なサンプリング予算において画像品質を向上させること、および編集ありの32ステップ生成が編集なしの64ステップ生成と同等であることが示された。統制されたImageNet256の実験において、グループ化交差エントロピーは標準的な交差エントロピーおよびSNCEの両方を上回り、最適化された実装によって最大VRAM消費を25GBから16GBへ削減しつつ、GCEのレイテンシを44msから20msに短縮した。
論文の注目点
- NLD-Imageはマスク済み離散拡散モデルにトークン編集機能を組み込み、推論中にすでにアンマスクされた画像トークンを反復的に修正できるようにしている。
- グループ化交差エントロピー目的関数は、意味的な近傍トークンにクラスタレベルの教師信号を提供し、大規模コードブックにおける学習シグナルのスパース性に対処する。
- 経験的評価において、強力な1024pxのテキスト・画像生成結果を報告し、アブレーションにより品質、ステップ効率、および学習・推論時における効率の向上が示されている。
参考リンク
- arXiv: https://arxiv.org/abs/2606.29814v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.29814v1
- Hugging Face Papers: https://huggingface.co/papers/2606.29814