Timestep Rescheduling in Diffusion Inversion
Abstractの概要
本論文は、決定論的拡散反転において、拡散タイムステップの選択が反転の忠実度にどのような影響を与えるかを研究している。著者らは、反転エラーがタイムステップのサイズに強く依存し、軌道全体で放物線状のパターンを示し、初期および後期段階の両方で大きな偏差が生じることを示している。この分析に基づき、動的計画法に基づく局所的な最適化と大域的なタイムステップのリスケーリングを組み合わせた、不均一なタイムステップ再スケジューリング手法であるTRDIを提案している。この手法は、既存の反転パイプラインに対する既存のスケジューラの代替として設計されており、動的計画法のスケジュールはオフラインで前計算できるため、追加の学習パラメータを必要とせず、オンラインでの実行時オーバーヘッドも実質的にないと報告されている。
新規性
本論文の主な新規性は、各ステップの反転ソルバーを改良するだけでなく、タイムステップの選択自体を拡散反転における最も重要な要素の一つとして扱っている点にある。さらに、スケーリングされた固定小数点問題に関連づけられた、タイムステップに依存する反転エラーの定式化を導出し、その分析を用いて、大域的リスケーリングと局所的な動的計画法を備えた粗密な再スケジューリング戦略を構築している。
成果
MSCOCOでの画像再構成およびPIE-Benchでの画像編集において、提案手法のスケジューラは、DDIM、ReNoise、NPI、GNRIを含む複数の反転ベースラインを一貫して改善している。例えば、SD v1.5を用いたMSCOCOの実験では、スケジューラを追加することで4つすべてのベースラインでPSNR、SSIM、LPIPSが向上した。また、SDXLおよびSDXL Turboを用いた編集実験では、概ね同等のCLIP類似度を維持しながら、より優れた構造距離スコアと背景の保持能力を示している。さらに動的計画法のプロセス自体も、データセット全体の再構成に約3時間かかるのに対し、50タイムステップの場合でもオフラインで9.32秒で完了するため、実用上のオーバーヘッドは無視できると報告されている。
論文の注目点
- 本論文は、大きなステップにおいてエラーが増大することや、エラーがタイムステップの進行位置に対して放物線状に依存するという、タイムステップ依存の反転エラーパターンを特定した。
- 提案されるTRDIは、基盤となる反転手法自体を変更することなく、大域的なタイムステップの引き伸ばしと動的計画法による局所的な再スケジューリングを通じて、固定された推論計算コストを最適に再配分する。
- 実験により、複数の反転ベースラインや拡散モデルにわたって、再構成および編集の品質の一貫した改善が示され、特に画像の構造や背景の細部の保持において顕著な効果が見られた。