論文の概要: A Variational Perspective on Solving Inverse Problems with Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.04391v2
• Date: Fri, 29 Sep 2023 18:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 14:51:40.747131
• Title: A Variational Perspective on Solving Inverse Problems with Diffusion Models
• Title（参考訳）: 拡散モデルを用いた逆問題に対する変分的考察
• Authors: Morteza Mardani, Jiaming Song, Jan Kautz, Arash Vahdat
• Abstract要約: 逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
• 参考スコア（独自算出の注目度）: 101.831766524264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as a key pillar of foundation models in visual domains. One of their critical applications is to universally solve different downstream inverse tasks via a single diffusion prior without re-training for each task. Most inverse tasks can be formulated as inferring a posterior distribution over data (e.g., a full image) given a measurement (e.g., a masked image). This is however challenging in diffusion models since the nonlinear and iterative nature of the diffusion process renders the posterior intractable. To cope with this challenge, we propose a variational approach that by design seeks to approximate the true posterior distribution. We show that our approach naturally leads to regularization by denoising diffusion process (RED-Diff) where denoisers at different timesteps concurrently impose different structural constraints over the image. To gauge the contribution of denoisers from different timesteps, we propose a weighting mechanism based on signal-to-noise-ratio (SNR). Our approach provides a new variational perspective for solving inverse problems with diffusion models, allowing us to formulate sampling as stochastic optimization, where one can simply apply off-the-shelf solvers with lightweight iterates. Our experiments for image restoration tasks such as inpainting and superresolution demonstrate the strengths of our method compared with state-of-the-art sampling-based diffusion models.
• Abstract（参考訳）: 拡散モデルは、視覚領域の基礎モデルの主要な柱として現れてきた。 彼らの重要な応用の1つは、各タスクを再訓練することなく単一の拡散によって異なる下流の逆タスクを普遍的に解くことである。 ほとんどの逆タスクは、測定値(マスク付き画像など)が与えられたデータ(フルイメージなど)の後方分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 この課題に対処するために,設計により真の後方分布を近似しようとする変分的アプローチを提案する。 異なる時間ステップでデノワザが同時に画像に異なる構造的制約を課す拡散過程(red-diff)をデノライゼーションすることで、我々のアプローチは自然に正則化をもたらすことが示されている。 そこで本研究では,信号対雑音比(SNR)に基づく重み付け機構を提案する。 提案手法は,拡散モデルを用いた逆問題に対する新しい変分的視点を提供することにより,標本化を確率的最適化として定式化することができる。 インペインティングや超解像などの画像復元課題に対する実験は,最先端サンプリングに基づく拡散モデルと比較して,提案手法の強みを実証する。

関連論文リスト

• A Mixture-Based Framework for Guiding Diffusion Models [19.83064246586143]
  デノナイジング拡散モデルはベイズ逆問題(英語版)の分野において大きな進歩をもたらした。 近年のアプローチでは、事前学習した拡散モデルを用いて、そのような問題を広範囲に解決している。 本研究はこれらの中間分布の新たな混合近似を提案する。
  論文  参考訳（メタデータ） (2025-02-05T16:26:06Z)
• Diffusing Differentiable Representations [60.72992910766525]
  本稿では,事前学習した拡散モデルを用いて,微分可能な表現(拡散)をサンプリングする,新しい学習自由な手法を提案する。 差分によって引き起こされるサンプルに対する暗黙の制約を特定し、この制約に対処することで、生成されたオブジェクトの一貫性と詳細が大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2024-12-09T20:42:58Z)
• VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference [5.852077003870417]
  我々のVIPaint法は,提案手法の妥当性と多様性の両方において,従来の手法よりも優れていることを示す。 我々のVIPaint法は,提案手法の妥当性と多様性の両方において,従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-28T05:35:36Z)
• G2D2: Gradient-guided Discrete Diffusion for image inverse problem solving [55.185588994883226]
  本稿では,従来の離散拡散に基づく画像生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。 我々の知る限りでは、これは画像逆問題を解決するために離散拡散モデルに基づく先行手法を使う最初のアプローチである。
  論文  参考訳（メタデータ） (2024-10-09T06:18:25Z)
• Solving Video Inverse Problems Using Image Diffusion Models [58.464465016269614]
  本稿では,画像拡散モデルのみを活用する革新的なビデオ逆解法を提案する。 本手法は,映像の時間次元をバッチ次元画像拡散モデルとして扱う。 また、バッチ間の一貫性を促進するバッチ一貫性サンプリング戦略も導入しています。
  論文  参考訳（メタデータ） (2024-09-04T09:48:27Z)
• Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
  本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。 P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
  論文  参考訳（メタデータ） (2023-10-02T11:31:48Z)
• Fast Diffusion EM: a diffusion model for blind inverse problems with application to deconvolution [0.0]
  現在の手法では、劣化が知られており、復元と多様性の点で印象的な結果をもたらすと仮定している。 本研究では、これらのモデルの効率を活用し、復元された画像と未知のパラメータを共同で推定する。 本手法は,拡散モデルから抽出したサンプルを用いて,問題の対数類似度を近似し,未知のモデルパラメータを推定する方法とを交互に比較する。
  論文  参考訳（メタデータ） (2023-09-01T06:47:13Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction [31.61199061999173]
  拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。 ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。 ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
  論文  参考訳（メタデータ） (2021-12-09T04:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。