Looped Diffusion Transformer
Abstractの概要
本論文では、各ノイズ除去ステップ内で共有されたTransformerブロックのグループを繰り返し実行することで、パラメータを追加することなく計算深度を深め、テキストから画像への拡散モデルをスケーリングする手法を調査しています。著者らは、中間層への教師信号の弱さや、空間情報を劣化させる変調されないアテンション更新が原因で、単純なループでは生成品質が確実に向上しないことを観察しました。これらの課題を解決するため、中間ループに対するディープスーパービジョンと自己変調アテンション機構を組み込んだLooped Diffusion Transformer（Looped-DiT）を提案しています。包括的な評価により、パラメータおよび推論効率の向上、効果的な推論時スケーリング、そして段階的な制約充足といった潜在的な視覚的推論行動が実証されています。
新規性
本論文はLooped-DiTを導入し、テキストから画像への拡散モデルにおけるループ計算の体系的な研究として位置づけています。その構造的な新規性は、共有されたループTransformerブロック内において、中間ループのディープスーパービジョンと自己変調アテンション（Exclusive Self AttentionやGated Attentionなど）を組み合わせた点にあります。
成果
パラメータ数および計算量を揃えた条件下において、Looped-DiTは非ループのベースラインを一貫して上回り、260MのLooped-DiT B/16は6つのベンチマークで平均スコア71.5を達成し、最大6.5倍大きなモデルを凌駕しつつ、推論計算量を4.9倍削減しました。また、固定された推論計算量予算下では、計算リソースを追加のノイズ除去ステップに割り当てるよりもループ深度の増加に割り当てる方が大きな性能向上をもたらします。さらに、ディープスーパービジョンにより、再学習を伴わない柔軟な推論時スケーリングや適応的な早期終了ループが可能になります。
論文の注目点
- 拡散ノイズ除去ステップ内での単純なループ処理は、中間層への教師信号の弱さや反復に伴う線形デコード可能な空間位置情報の喪失により、収穫逓減や品質低下に陥ります。
- Looped-DiTは、フローマッチング損失のもとで中間パスをデコードするディープスーパービジョンと、過剰な残差更新を防ぐ自己変調アテンション（XSAなど）を採用することで、ループ実行を安定化させます。
- 本手法は標準的なスケーリングやノイズ除去ステップの追加よりも高いパラメータ効率および計算効率を達成し、ループ全体で空間的制約を解決しエラーを修正する潜在的な推論行動を示します。