Revisiting Spectral Representations in Generative Diffusion Models
Abstractの概要
本論文は、摂動カーネルの観点から拡散モデリングを再考し、拡散モデルの学習が自己教師ありスペクトル表現学習と密接に関連していると主張しています。この視点に基づき、著者らは同一の摂動プロセスから導出される時間依存のスペクトル埋め込みに向けて拡散モデルの表現を正則化する、自己教師ありスペクトル表現アライメント手法を導入しています。また、拡散過程において進化する局所多様体構造を保存するという観点から幾何学的な解釈を提供し、スペクトル目的関数が勾配形式において表現空間での拡散スコア蒸留と等価であることを示しています。合成2Dデータ、画像生成、および3D点群生成における実験により、特に対外的な事前学習済みエンコーダがない設定において、対応する拡散ベースラインを一貫して改善することが示されています。
新規性
主な新規性は、表現アライメントを経験的な追加要素として扱うのではなく、拡散モデルとスペクトル自己教師あり学習を明示的に橋渡しする統一された摂動カーネルフレームワークにあります。提案されたアライメントは完全に自己教師ありであり、外部の教師エンコーダへの依存を回避しているほか、スペクトルアライメント目的関数と表現空間における拡散スコア蒸留との理論的等価性も示されています。
成果
画像ベンチマーク全体において、本手法はImageNet-64（9.441から7.994）、ImageNet-256潜在拡散（2.508から2.298）、CIFAR-10（11.588から8.742）、CelebA（28.806から25.678）、FFHQ（13.766から13.074）など、報告されたすべてのデータセットでベースラインに対してFIDを改善しました。3D点群生成では収束を加速してより強力な指標を達成し、例えばShapeNet Chairsの5Kイテレーション時において、CD/EMD下での1-NNAは0.850/0.875から0.583/0.627へと低下し、COVは0.295/0.221から0.488/0.493へと向上しました。合成2D評価においても、外れ値が少なく、よりクリーンで幾何学的に忠実なサンプルが生成されることが示されています。
論文の注目点
- 本手法は、拡散表現を同一の拡散摂動カーネルによって誘導される時間依存スペクトル埋め込みと整列させることで、REPAなどのエンコーダベースのアライメント手法に対する自己教師ありの代替手段を提供する。
- スペクトル埋め込みが拡散過程におけるデータ多様体の進化する局所幾何構造をエンコードしていると主張し、これを拡散モデルの学習にスペクトル正則化を加える動機付けとしている。
- この正則化は画像および3D点群全体で生成品質を実証的に向上させ、強力な事前学習済みエンコーダが利用できない領域で特に有用であるが、学習オーバーヘッドの増加や大規模な潜在ImageNet-256生成においてREPAより性能が劣る点も指摘されている。