論文の概要: Solving Inverse Problems with Latent Diffusion Models via Hard Data Consistency

• arxiv url: http://arxiv.org/abs/2307.08123v1
• Date: Sun, 16 Jul 2023 18:42:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 15:35:28.691185
• Title: Solving Inverse Problems with Latent Diffusion Models via Hard Data Consistency
• Title（参考訳）: ハードデータ一貫性による潜時拡散モデルによる逆問題の解法
• Authors: Bowen Song, Soo Min Kwon, Zecheng Zhang, Xinyu Hu, Qing Qu, Liyue Shen
• Abstract要約: 本稿では,事前学習した潜伏拡散モデルを用いて一般逆問題の解法であるReSampleを提案する。 提案手法は,画素空間で動作する最先端の作業と比較しても,高品質な画像の再構成が可能であることを示す。
• 参考スコア（独自算出の注目度）: 9.921989285206278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have recently emerged as powerful generative priors for solving inverse problems. However, training diffusion models in the pixel space are both data intensive and computationally demanding, which restricts their applicability as priors in domains such as medical imaging. Latent diffusion models, which operate in a much lower-dimensional space, offer a solution to these challenges. Though, their direct application to solving inverse problems remains an unsolved technical challenge due to the nonlinearity of the encoder and decoder. To address this issue,we propose ReSample, an algorithm that solves general inverse problems with pre-trained latent diffusion models. Our algorithm incorporates data consistency by solving an optimization problem during the reverse sampling process, a concept that we term as hard data consistency. Upon solving this optimization problem, we propose a novel resampling scheme to map the measurement-consistent sample back onto the correct data manifold. Our approach offers both memory efficiency and considerable flexibility in the sense that (1) it can be readily adapted to various inverse problems using the same pre-trained model as it does not assume any fixed forward measurement operator during training, and (2) it can be generalized to different domains by simply fine-tuning the latent diffusion model with a minimal amount of data samples. Our empirical results on both linear and non-linear inverse problems demonstrate that our approach can reconstruct high-quality images even compared to state-of-the-art works that operate in the pixel space.
• Abstract（参考訳）: 拡散モデルは最近、逆問題を解くための強力な生成前駆体として現れている。 しかし、画素空間におけるトレーニング拡散モデルは、データ集約的かつ計算的に要求されるものであり、医療画像などの領域における事前適用性を制限する。 非常に低次元空間で動作する潜在拡散モデルは、これらの課題に対する解決策を提供する。 しかし、その逆問題への直接的な適用は、エンコーダとデコーダの非線形性のために未解決の技術的課題である。 そこで本研究では,事前学習した潜在拡散モデルを用いて一般逆問題を解くアルゴリズムであるresampleを提案する。 本アルゴリズムは,データ整合性の概念である逆サンプリングプロセス中に最適化問題を解くことによって,データの整合性を実現する。 この最適化問題の解決にあたり、測定一貫性のあるサンプルを正しいデータ多様体にマッピングする新しい再サンプリング手法を提案する。 本手法は,(1)学習中に一定の前方測定演算子を仮定しないのと同じ事前学習モデルを用いて,様々な逆問題に容易に適応できる,(2)潜在拡散モデルを最小限のデータサンプルで微調整するだけで異なる領域に一般化できるという意味で,メモリ効率とかなりの柔軟性を提供する。 線形および非線形の逆問題に対する実験結果から,画素空間で動作する最先端の著作物と比較して,高品質な画像を再現できることを示した。

関連論文リスト

• G2D2: Gradient-guided Discrete Diffusion for image inverse problem solving [55.185588994883226]
  本稿では,従来の離散拡散に基づく画像生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。 我々の知る限りでは、これは画像逆問題を解決するために離散拡散モデルに基づく先行手法を使う最初のアプローチである。
  論文  参考訳（メタデータ） (2024-10-09T06:18:25Z)
• Diffusion State-Guided Projected Gradient for Inverse Problems [82.24625224110099]
  逆問題に対する拡散状態ガイド型射影勾配(DiffStateGrad)を提案する。 DiffStateGrad は拡散過程の中間状態の低ランク近似である部分空間に測定勾配を投影する。 DiffStateGradは、測定手順のステップサイズとノイズの選択によって拡散モデルのロバスト性を向上させる。
  論文  参考訳（メタデータ） (2024-10-04T14:26:54Z)
• Solving Video Inverse Problems Using Image Diffusion Models [58.464465016269614]
  本稿では,画像拡散モデルのみを活用する革新的なビデオ逆解法を提案する。 本手法は,映像の時間次元をバッチ次元画像拡散モデルとして扱う。 また、バッチ間の一貫性を促進するバッチ一貫性サンプリング戦略も導入しています。
  論文  参考訳（メタデータ） (2024-09-04T09:48:27Z)
• CoSIGN: Few-Step Guidance of ConSIstency Model to Solve General INverse Problems [3.3969056208620128]
  我々は, 高い復元品質を維持しつつ, 推論ステップの境界を1-2 NFEに推し進めることを提案する。 本手法は拡散型逆問題解法における新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-07-17T15:57:50Z)
• Deep Data Consistency: a Fast and Robust Diffusion Model-based Solver for Inverse Problems [0.0]
  本研究では,拡散モデルを用いた逆問題解法において,データ一貫性ステップをディープラーニングモデルで更新するディープデータ一貫性(DDC)を提案する。 線形および非線形タスクにおける最先端手法と比較して、DDCは類似度と実性の両方の指標の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-17T12:54:43Z)
• Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
  本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。 P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
  論文  参考訳（メタデータ） (2023-10-02T11:31:48Z)
• Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models [98.95988351420334]
  本稿では,事前学習した潜在拡散モデルを利用した線形逆問題の解法を初めて提案する。 線形モデル設定において,証明可能なサンプル回復を示すアルゴリズムを理論的に解析する。
  論文  参考訳（メタデータ） (2023-07-02T17:21:30Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• Two-stage Denoising Diffusion Model for Source Localization in Graph Inverse Problems [19.57064597050846]
  ソースローカライゼーションは、グラフ情報拡散の逆問題である。 本稿では,2段階最適化フレームワークであるソースローカライゼーション・デノナイズ拡散モデル(SL-Diff)を提案する。 SL-Diffは広範囲な実験で適切なサンプリング時間内に優れた予測結果が得られる。
  論文  参考訳（メタデータ） (2023-04-18T09:11:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。