論文の概要: A Variational Perspective on Solving Inverse Problems with Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.04391v2
• Date: Fri, 29 Sep 2023 18:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 14:51:40.747131
• Title: A Variational Perspective on Solving Inverse Problems with Diffusion Models
• Title（参考訳）: 拡散モデルを用いた逆問題に対する変分的考察
• Authors: Morteza Mardani, Jiaming Song, Jan Kautz, Arash Vahdat
• Abstract要約: 逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
• 参考スコア（独自算出の注目度）: 101.831766524264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as a key pillar of foundation models in visual domains. One of their critical applications is to universally solve different downstream inverse tasks via a single diffusion prior without re-training for each task. Most inverse tasks can be formulated as inferring a posterior distribution over data (e.g., a full image) given a measurement (e.g., a masked image). This is however challenging in diffusion models since the nonlinear and iterative nature of the diffusion process renders the posterior intractable. To cope with this challenge, we propose a variational approach that by design seeks to approximate the true posterior distribution. We show that our approach naturally leads to regularization by denoising diffusion process (RED-Diff) where denoisers at different timesteps concurrently impose different structural constraints over the image. To gauge the contribution of denoisers from different timesteps, we propose a weighting mechanism based on signal-to-noise-ratio (SNR). Our approach provides a new variational perspective for solving inverse problems with diffusion models, allowing us to formulate sampling as stochastic optimization, where one can simply apply off-the-shelf solvers with lightweight iterates. Our experiments for image restoration tasks such as inpainting and superresolution demonstrate the strengths of our method compared with state-of-the-art sampling-based diffusion models.
• Abstract（参考訳）: 拡散モデルは、視覚領域の基礎モデルの主要な柱として現れてきた。 彼らの重要な応用の1つは、各タスクを再訓練することなく単一の拡散によって異なる下流の逆タスクを普遍的に解くことである。 ほとんどの逆タスクは、測定値(マスク付き画像など)が与えられたデータ(フルイメージなど)の後方分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 この課題に対処するために,設計により真の後方分布を近似しようとする変分的アプローチを提案する。 異なる時間ステップでデノワザが同時に画像に異なる構造的制約を課す拡散過程(red-diff)をデノライゼーションすることで、我々のアプローチは自然に正則化をもたらすことが示されている。 そこで本研究では,信号対雑音比(SNR)に基づく重み付け機構を提案する。 提案手法は,拡散モデルを用いた逆問題に対する新しい変分的視点を提供することにより,標本化を確率的最適化として定式化することができる。 インペインティングや超解像などの画像復元課題に対する実験は,最先端サンプリングに基づく拡散モデルと比較して,提案手法の強みを実証する。

関連論文リスト

• G2D2: Gradient-guided Discrete Diffusion for image inverse problem solving [55.185588994883226]
  本稿では,従来の離散拡散に基づく画像生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。 我々の知る限りでは、これは画像逆問題を解決するために離散拡散モデルに基づく先行手法を使う最初のアプローチである。
  論文  参考訳（メタデータ） (2024-10-09T06:18:25Z)
• Solving Video Inverse Problems Using Image Diffusion Models [58.464465016269614]
  本稿では,画像拡散モデルのみを活用する革新的なビデオ逆解法を提案する。 本手法は,映像の時間次元をバッチ次元画像拡散モデルとして扱う。 また、バッチ間の一貫性を促進するバッチ一貫性サンプリング戦略も導入しています。
  論文  参考訳（メタデータ） (2024-09-04T09:48:27Z)
• Diffusion Prior-Based Amortized Variational Inference for Noisy Inverse Problems [12.482127049881026]
  そこで本稿では, 償却変分推論の観点から, 拡散による逆問題の解法を提案する。 我々の償却推論は、測定結果を対応するクリーンデータの暗黙の後方分布に直接マッピングする関数を学習し、未知の計測でも単一ステップの後方サンプリングを可能にする。
  論文  参考訳（メタデータ） (2024-07-23T02:14:18Z)
• Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
  本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。 P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
  論文  参考訳（メタデータ） (2023-10-02T11:31:48Z)
• Fast Diffusion EM: a diffusion model for blind inverse problems with application to deconvolution [0.0]
  現在の手法では、劣化が知られており、復元と多様性の点で印象的な結果をもたらすと仮定している。 本研究では、これらのモデルの効率を活用し、復元された画像と未知のパラメータを共同で推定する。 本手法は,拡散モデルから抽出したサンプルを用いて,問題の対数類似度を近似し,未知のモデルパラメータを推定する方法とを交互に比較する。
  論文  参考訳（メタデータ） (2023-09-01T06:47:13Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Denoising Diffusion Restoration Models [110.1244240726802]
  Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。 DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
  論文  参考訳（メタデータ） (2022-01-27T20:19:07Z)
• Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction [31.61199061999173]
  拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。 ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。 ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
  論文  参考訳（メタデータ） (2021-12-09T04:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。