論文の概要: Solving Inverse Problems with Latent Diffusion Models via Hard Data
Consistency
- arxiv url: http://arxiv.org/abs/2307.08123v1
- Date: Sun, 16 Jul 2023 18:42:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 15:35:28.691185
- Title: Solving Inverse Problems with Latent Diffusion Models via Hard Data
Consistency
- Title(参考訳): ハードデータ一貫性による潜時拡散モデルによる逆問題の解法
- Authors: Bowen Song, Soo Min Kwon, Zecheng Zhang, Xinyu Hu, Qing Qu, Liyue Shen
- Abstract要約: 本稿では,事前学習した潜伏拡散モデルを用いて一般逆問題の解法であるReSampleを提案する。
提案手法は,画素空間で動作する最先端の作業と比較しても,高品質な画像の再構成が可能であることを示す。
- 参考スコア(独自算出の注目度): 9.921989285206278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models have recently emerged as powerful generative priors for
solving inverse problems. However, training diffusion models in the pixel space
are both data intensive and computationally demanding, which restricts their
applicability as priors in domains such as medical imaging. Latent diffusion
models, which operate in a much lower-dimensional space, offer a solution to
these challenges. Though, their direct application to solving inverse problems
remains an unsolved technical challenge due to the nonlinearity of the encoder
and decoder. To address this issue,we propose ReSample, an algorithm that
solves general inverse problems with pre-trained latent diffusion models. Our
algorithm incorporates data consistency by solving an optimization problem
during the reverse sampling process, a concept that we term as hard data
consistency. Upon solving this optimization problem, we propose a novel
resampling scheme to map the measurement-consistent sample back onto the
correct data manifold. Our approach offers both memory efficiency and
considerable flexibility in the sense that (1) it can be readily adapted to
various inverse problems using the same pre-trained model as it does not assume
any fixed forward measurement operator during training, and (2) it can be
generalized to different domains by simply fine-tuning the latent diffusion
model with a minimal amount of data samples. Our empirical results on both
linear and non-linear inverse problems demonstrate that our approach can
reconstruct high-quality images even compared to state-of-the-art works that
operate in the pixel space.
- Abstract(参考訳): 拡散モデルは最近、逆問題を解くための強力な生成前駆体として現れている。
しかし、画素空間におけるトレーニング拡散モデルは、データ集約的かつ計算的に要求されるものであり、医療画像などの領域における事前適用性を制限する。
非常に低次元空間で動作する潜在拡散モデルは、これらの課題に対する解決策を提供する。
しかし、その逆問題への直接的な適用は、エンコーダとデコーダの非線形性のために未解決の技術的課題である。
そこで本研究では,事前学習した潜在拡散モデルを用いて一般逆問題を解くアルゴリズムであるresampleを提案する。
本アルゴリズムは,データ整合性の概念である逆サンプリングプロセス中に最適化問題を解くことによって,データの整合性を実現する。
この最適化問題の解決にあたり、測定一貫性のあるサンプルを正しいデータ多様体にマッピングする新しい再サンプリング手法を提案する。
本手法は,(1)学習中に一定の前方測定演算子を仮定しないのと同じ事前学習モデルを用いて,様々な逆問題に容易に適応できる,(2)潜在拡散モデルを最小限のデータサンプルで微調整するだけで異なる領域に一般化できるという意味で,メモリ効率とかなりの柔軟性を提供する。
線形および非線形の逆問題に対する実験結果から,画素空間で動作する最先端の著作物と比較して,高品質な画像を再現できることを示した。
関連論文リスト
- EraseDiff: Erasing Data Influence in Diffusion Models [54.95692559939673]
拡散モデルのためのアンラーニングアルゴリズムを提案する。
提案アルゴリズムは, 広範に普及している拡散モデルから除去しながら, モデルの有用性, 有効性, 効率を保たせることを示す。
論文 参考訳(メタデータ) (2024-01-11T09:30:36Z) - Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。
P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
論文 参考訳(メタデータ) (2023-10-02T11:31:48Z) - Solving Linear Inverse Problems Provably via Posterior Sampling with
Latent Diffusion Models [98.95988351420334]
本稿では,事前学習した潜在拡散モデルを利用した線形逆問題の解法を初めて提案する。
線形モデル設定において,証明可能なサンプル回復を示すアルゴリズムを理論的に解析する。
論文 参考訳(メタデータ) (2023-07-02T17:21:30Z) - INDigo: An INN-Guided Probabilistic Diffusion Algorithm for Inverse
Problems [31.693710075183844]
一般逆問題に対する非可逆ニューラルネットワーク(INN)と拡散モデルを組み合わせた手法を提案する。
具体的には、任意の劣化過程をシミュレートするためにINNの前方処理を訓練し、逆処理を再構成プロセスとして使用する。
本アルゴリズムは, 劣化過程で失われる詳細を効果的に推定し, 劣化モデルのクローズドフォーム表現を知る必要により, もはや制限されない。
論文 参考訳(メタデータ) (2023-06-05T15:14:47Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - Two-stage Denoising Diffusion Model for Source Localization in Graph
Inverse Problems [19.57064597050846]
ソースローカライゼーションは、グラフ情報拡散の逆問題である。
本稿では,2段階最適化フレームワークであるソースローカライゼーション・デノナイズ拡散モデル(SL-Diff)を提案する。
SL-Diffは広範囲な実験で適切なサンプリング時間内に優れた予測結果が得られる。
論文 参考訳(メタデータ) (2023-04-18T09:11:09Z) - Denoising Diffusion Restoration Models [110.1244240726802]
Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。
DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
論文 参考訳(メタデータ) (2022-01-27T20:19:07Z) - Differentiable Gaussianization Layers for Inverse Problems Regularized
by Deep Generative Models [0.0]
深部生成モデルの潜時テンソルは、反転中に所望の高次元標準ガウス分布から外れる可能性があることを示す。
提案手法は精度と整合性の観点から最先端の性能を実現する。
論文 参考訳(メタデータ) (2021-12-07T17:53:09Z) - Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。
実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
論文 参考訳(メタデータ) (2021-11-27T12:12:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。