論文の概要: Solving Inverse Problems with Latent Diffusion Models via Hard Data
Consistency
- arxiv url: http://arxiv.org/abs/2307.08123v2
- Date: Tue, 10 Oct 2023 20:28:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 22:42:27.097827
- Title: Solving Inverse Problems with Latent Diffusion Models via Hard Data
Consistency
- Title(参考訳): ハードデータ一貫性による潜時拡散モデルによる逆問題の解法
- Authors: Bowen Song, Soo Min Kwon, Zecheng Zhang, Xinyu Hu, Qing Qu, Liyue Shen
- Abstract要約: 画素空間におけるトレーニング拡散モデルは、データ集約的かつ計算的に要求される。
非常に低次元空間で動作する潜在拡散モデルは、これらの課題に対する解決策を提供する。
我々は,事前学習した潜在拡散モデルを用いて,一般的な逆問題を解決するアルゴリズムであるtextitReSampleを提案する。
- 参考スコア(独自算出の注目度): 8.128475421154405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models have recently emerged as powerful generative priors for
solving inverse problems. However, training diffusion models in the pixel space
are both data-intensive and computationally demanding, which restricts their
applicability as priors for high-dimensional real-world data such as medical
images. Latent diffusion models, which operate in a much lower-dimensional
space, offer a solution to these challenges. However, incorporating latent
diffusion models to solve inverse problems remains a challenging problem due to
the nonlinearity of the encoder and decoder. To address these issues, we
propose \textit{ReSample}, an algorithm that can solve general inverse problems
with pre-trained latent diffusion models. Our algorithm incorporates data
consistency by solving an optimization problem during the reverse sampling
process, a concept that we term as hard data consistency. Upon solving this
optimization problem, we propose a novel resampling scheme to map the
measurement-consistent sample back onto the noisy data manifold and
theoretically demonstrate its benefits. Lastly, we apply our algorithm to solve
a wide range of linear and nonlinear inverse problems in both natural and
medical images, demonstrating that our approach outperforms existing
state-of-the-art approaches, including those based on pixel-space diffusion
models.
- Abstract(参考訳): 拡散モデルは最近、逆問題を解くための強力な生成前駆体として現れている。
しかし、画素空間におけるトレーニング拡散モデルは、データ集約的かつ計算的に要求されるものであり、医用画像などの高次元実世界のデータに対する事前適用性を制限する。
非常に低次元空間で動作する潜在拡散モデルは、これらの課題に対する解決策を提供する。
しかし、逆問題を解くために潜在拡散モデルを導入することは、エンコーダとデコーダの非線形性のために難しい問題である。
これらの問題に対処するために,事前学習された潜在拡散モデルを用いて一般的な逆問題を解くアルゴリズムである \textit{resample} を提案する。
本アルゴリズムは,データ整合性の概念である逆サンプリングプロセス中に最適化問題を解くことによって,データの整合性を実現する。
この最適化問題を解くために, 測定一貫性のあるサンプルを雑音データ多様体にマッピングし, その利点を理論的に実証する新しい再サンプリング手法を提案する。
最後に,本手法を自然画像と医学画像の両方の線形および非線形逆問題に適用し,画素空間拡散モデルに基づく手法を含む既存の最先端手法よりも優れることを示す。
関連論文リスト
- EraseDiff: Erasing Data Influence in Diffusion Models [54.95692559939673]
拡散モデルのためのアンラーニングアルゴリズムを提案する。
提案アルゴリズムは, 広範に普及している拡散モデルから除去しながら, モデルの有用性, 有効性, 効率を保たせることを示す。
論文 参考訳(メタデータ) (2024-01-11T09:30:36Z) - Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。
P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
論文 参考訳(メタデータ) (2023-10-02T11:31:48Z) - Solving Linear Inverse Problems Provably via Posterior Sampling with
Latent Diffusion Models [98.95988351420334]
本稿では,事前学習した潜在拡散モデルを利用した線形逆問題の解法を初めて提案する。
線形モデル設定において,証明可能なサンプル回復を示すアルゴリズムを理論的に解析する。
論文 参考訳(メタデータ) (2023-07-02T17:21:30Z) - INDigo: An INN-Guided Probabilistic Diffusion Algorithm for Inverse
Problems [31.693710075183844]
一般逆問題に対する非可逆ニューラルネットワーク(INN)と拡散モデルを組み合わせた手法を提案する。
具体的には、任意の劣化過程をシミュレートするためにINNの前方処理を訓練し、逆処理を再構成プロセスとして使用する。
本アルゴリズムは, 劣化過程で失われる詳細を効果的に推定し, 劣化モデルのクローズドフォーム表現を知る必要により, もはや制限されない。
論文 参考訳(メタデータ) (2023-06-05T15:14:47Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - Two-stage Denoising Diffusion Model for Source Localization in Graph
Inverse Problems [19.57064597050846]
ソースローカライゼーションは、グラフ情報拡散の逆問題である。
本稿では,2段階最適化フレームワークであるソースローカライゼーション・デノナイズ拡散モデル(SL-Diff)を提案する。
SL-Diffは広範囲な実験で適切なサンプリング時間内に優れた予測結果が得られる。
論文 参考訳(メタデータ) (2023-04-18T09:11:09Z) - Denoising Diffusion Restoration Models [110.1244240726802]
Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。
DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
論文 参考訳(メタデータ) (2022-01-27T20:19:07Z) - Differentiable Gaussianization Layers for Inverse Problems Regularized
by Deep Generative Models [0.0]
深部生成モデルの潜時テンソルは、反転中に所望の高次元標準ガウス分布から外れる可能性があることを示す。
提案手法は精度と整合性の観点から最先端の性能を実現する。
論文 参考訳(メタデータ) (2021-12-07T17:53:09Z) - Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。
実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
論文 参考訳(メタデータ) (2021-11-27T12:12:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。