Self-supervised Dynamic Heterogeneous Degradation Modeling for Unified Zero-Shot Image Restoration
Abstractの概要
本論文は、単一の拡散ベースのパイプライン内で異種劣化を処理することを目指す、自己教師ありのゼロショット画像復元フレームワーク「UP-ZeroIR」を提案している。中心となるアイデアは、潜在空間におけるさまざまな劣化を、コンパクトで物理的に一貫した一般化ガウス分布を用いて再パラメータ化することであり、これにより、暗黙的な特徴プロンプトのみならず、明示的な劣化モデリングによって復元をガイドすることが可能になる。この手法は、劣化を考慮した事後サンプリング、物理的に一貫した劣化モデル、劣化アライメント損失、および推論時に拡散軌跡を適応的に調整する動的な品質精密化戦略を組み合わせている。実験は低照度強調、かすみ除去、ノイズ除去、および混合劣化について行われ、アブレーション研究により各主要コンポーネントの役割が分析されている。
新規性
際立った貢献は、劣化をブラックボックスの条件として扱うのではなく、多様な画像劣化を潜在空間における統合された低次元の物理的分布として明示的にモデル化した点にある。また本論文は、ゼロショット推論中に拡散軌跡を適応的に修正する、品質駆動型の動的精密化メカニズムも導入している。
成果
報告された実験によれば、UP-ZeroIRは低照度強調、かすみ除去、およびノイズ除去のベンチマークにおいて、比較された手法の中で最も強力な定量的結果を達成しており、2つの混合劣化設定でも最高のパフォーマンスを示している。論文では、2番目に優れたベースラインに対するPSNRの向上が、LOLv1/LOLv2で0.95 dBおよび0.98 dB、HSTSかすみ除去で1.03 dB、Kodak24ノイズ除去で0.85 dBであったと報告されている。さらにアブレーション研究は、物理的劣化モデル、劣化アライメント損失、および動的な品質精密化のそれぞれが最終的な性能に貢献していることを示している。
論文の注目点
- UP-ZeroIRは、潜在拡散空間におけるコンパクトな一般化ガウスパラメータ化を用いて異種劣化をモデル化し、ゼロショット復元のための物理的根拠に基づく明示的な制御信号を提供する。
- 低照度強調、かすみ除去、ノイズ除去、および混合劣化にわたり、本手法は比較対象のゼロショット事後サンプリング手法のベースラインを上回り、論文内で報告された最高水準のベンチマーク数値を達成している。
- アブレーションおよびロバストネス解析により、物理的に一貫した劣化モデリング、分布レベルのアライメント、および動的な品質精密化が、収束の安定性を向上させ、複雑に絡み合った劣化や付加ノイズへの対処に役立つことが示されている。