論文の概要: Zero-Shot Adaptation for Approximate Posterior Sampling of Diffusion Models in Inverse Problems
- arxiv url: http://arxiv.org/abs/2407.11288v1
- Date: Tue, 16 Jul 2024 00:09:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 19:02:01.205754
- Title: Zero-Shot Adaptation for Approximate Posterior Sampling of Diffusion Models in Inverse Problems
- Title(参考訳): 逆問題における拡散モデルの近似後サンプリングのためのゼロショット適応
- Authors: Yaşar Utku Alçalar, Mehmet Akçakaya,
- Abstract要約: 画像の逆問題に対するゼロショット近似後方サンプリング(ZAPS)を提案する。
ZAPSはサンプリングステップの数を修正し、物理学誘導損失関数によるゼロショットトレーニングを使用して、不規則な時間ステップ毎にログライクな重みを学習する。
以上の結果から,ZAPSは推定時間を短縮し,不規則な騒音スケジュールに頑健性を提供し,再現性の向上を図っている。
- 参考スコア(独自算出の注目度): 2.8237889121096034
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Diffusion models have emerged as powerful generative techniques for solving inverse problems. Despite their success in a variety of inverse problems in imaging, these models require many steps to converge, leading to slow inference time. Recently, there has been a trend in diffusion models for employing sophisticated noise schedules that involve more frequent iterations of timesteps at lower noise levels, thereby improving image generation and convergence speed. However, application of these ideas for solving inverse problems with diffusion models remain challenging, as these noise schedules do not perform well when using empirical tuning for the forward model log-likelihood term weights. To tackle these challenges, we propose zero-shot approximate posterior sampling (ZAPS) that leverages connections to zero-shot physics-driven deep learning. ZAPS fixes the number of sampling steps, and uses zero-shot training with a physics-guided loss function to learn log-likelihood weights at each irregular timestep. We apply ZAPS to the recently proposed diffusion posterior sampling method as baseline, though ZAPS can also be used with other posterior sampling diffusion models. We further approximate the Hessian of the logarithm of the prior using a diagonalization approach with learnable diagonal entries for computational efficiency. These parameters are optimized over a fixed number of epochs with a given computational budget. Our results for various noisy inverse problems, including Gaussian and motion deblurring, inpainting, and super-resolution show that ZAPS reduces inference time, provides robustness to irregular noise schedules and improves reconstruction quality. Code is available at https://github.com/ualcalar17/ZAPS
- Abstract(参考訳): 拡散モデルは、逆問題を解決するための強力な生成技術として登場した。
画像の様々な逆問題で成功したにもかかわらず、これらのモデルは収束するために多くのステップを必要とし、推論時間が遅くなる。
近年,低騒音レベルにおける時間経過の頻繁な反復を伴い,画像生成や収束速度が向上する,高度なノイズスケジュールを利用するための拡散モデルが流行している。
しかしながら、これらのアイデアの拡散モデルによる逆問題への応用は、前方モデルの対数的項重みに対する経験的チューニングを使用する場合、これらのノイズスケジュールがうまく機能しないため、依然として困難である。
これらの課題に対処するために、ゼロショット物理駆動深層学習への接続を利用するゼロショット近似後方サンプリング(ZAPS)を提案する。
ZAPSはサンプリングステップの数を修正し、物理学誘導損失関数によるゼロショットトレーニングを使用して、不規則な時間ステップ毎にログライクな重みを学習する。
本稿では,最近提案した拡散後サンプリング法をベースラインとしてZAPSを適用した。
さらに,学習可能な対角成分を用いた対角化手法を用いて,先行対数ヘシアンを近似し,計算効率を向上する。
これらのパラメータは、所定の計算予算を持つ固定数のエポックに対して最適化される。
ガウス, 運動遅延, 塗装, 超解像などの様々な雑音逆問題に対する結果から, ZAPSは推定時間を短縮し, 不規則な騒音スケジュールに対して頑健性を提供し, 再現性の向上を図っている。
コードはhttps://github.com/ualcalar17/ZAPSで入手できる。
関連論文リスト
- Improving Diffusion Inverse Problem Solving with Decoupled Noise Annealing [84.97865583302244]
本稿では,新しいノイズアニーリングプロセスに依存するDAPS (Decoupled Annealing Posterior Sampling) 法を提案する。
DAPSは、複数の画像復元タスクにおけるサンプル品質と安定性を著しく改善する。
例えば、フェーズ検索のためのFFHQ 256データセット上で、PSNRが30.72dBである場合、既存の手法と比較して9.12dBの改善となる。
論文 参考訳(メタデータ) (2024-07-01T17:59:23Z) - Score-based Generative Models with Adaptive Momentum [40.84399531998246]
変換過程を高速化する適応運動量サンプリング法を提案する。
提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
論文 参考訳(メタデータ) (2024-05-22T15:20:27Z) - One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion
Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。
OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。
トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
論文 参考訳(メタデータ) (2023-11-27T12:02:42Z) - Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。
既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。
本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
論文 参考訳(メタデータ) (2023-11-20T08:27:56Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - Diffusion Model Based Posterior Sampling for Noisy Linear Inverse
Problems [17.49551570305112]
本稿では,拡散モデルに基づく後方サンプリング (DMPS) と呼ばれる教師なしサンプリング手法を提案する。
具体的には、1つの拡散モデル(DM)を暗黙の先行として用いて、後続サンプリングを行う際の根本的な困難さは、ノイズ摂動確率スコア(すなわち、熱処理された可能性関数の勾配)が引き起こされることである。
広汎な実験は、ノイズの高分解能、デノイング、デブロアリング、着色など、様々なノイズの線形逆問題に対して行われる。
論文 参考訳(メタデータ) (2022-11-20T01:09:49Z) - Diffusion Posterior Sampling for General Noisy Inverse Problems [50.873313752797124]
我々は、後方サンプリングの近似により、雑音(非線形)逆問題に対処するために拡散解法を拡張した。
本手法は,拡散モデルが様々な計測ノイズ統計を組み込むことができることを示す。
論文 参考訳(メタデータ) (2022-09-29T11:12:27Z) - Denoising Diffusion Restoration Models [110.1244240726802]
Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。
DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
論文 参考訳(メタデータ) (2022-01-27T20:19:07Z) - Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models
for Inverse Problems through Stochastic Contraction [31.61199061999173]
拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。
ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。
ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
論文 参考訳(メタデータ) (2021-12-09T04:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。