On the spectral properties of generative denoiser Jacobians
Abstractの概要
本論文では、拡散モデルやフローマッチングモデルで使用される生成的デノイザーのヤコビ行列を調査し、出力品質指標を超えてデノイザーの違いを特徴付ける手段としてそのスペクトルに着目しています。事前学習済みImageNet SiTモデル全体において、特にデノイジングの初期・中期ステップやClassifier-Free Guidance下で、より高い生成性能がより大きな主要ヤコビ固有値と関連していることが報告されています。この相関関係に基づき、学習中に固有値分解を明示的に計算することなく、データ関連方向の応答を増幅するかノイズ方向の応答を抑制する、入力摂動に基づく学習正則化項を提案しています。ImageNetの実験により、これらのスペクトル介入が生成指標を改善できること、そして増幅と抑制の組み合わせが検証されたバリアントの中で最良の総合FIDを達成することが示されています。
新規性
本研究の主な新規性は、デノイザーのヤコビ行列スペクトルを生成的デノイジングモデルの比較診断手法として扱い、事前学習済みモデル全体でより大きな主要固有値とより優れた生成性能とを結び付けた点にあります。また、学習中にスペクトルの一部を強化または抑制できる摂動ベースのヤコビアン正則化スキームを提案し、残差に整合した方向に沿ってヤコビアン応答を増大させる明示的なメカニズムを含めています。
成果
事前学習済みSiTモデルにおいて、ヤコビ固有値統計量は生成品質と同じ順序に従う一方で、デノイジング誤差単独では同様の情報は得られませんでした。ImageNetでは、残差ベースの正則化により主要固有値が増加してSiT-SベースラインよりもFIDが改善し、適度な確率的正則化は不要な方向を抑制することでFIDを改善し、両方の正則化項の組み合わせが検証された設定の中で最良の総合FIDを達成しました。
論文の注目点
- デノイザーのヤコビ行列スペクトルは、サンプル品質指標単独では捉えられない方法で生成的デノイザーを識別するモデル内部の解析ツールを提供する。
- 残差摂動正則化はタスク関連の固有方向に沿った拡大を増加させるよう設計されているのに対し、確率的摂動はより広範またはランダムな方向に対する収縮ペナルティのように作用する。
- ImageNetの実験において、主要方向の適度な増幅と弱いノイズ方向の抑制は相補的であるとみられ、複合的な正則化項が報告された比較の中で最も優れた総合FIDを達成している。