論文の概要: Consistency Model is an Effective Posterior Sample Approximation for Diffusion Inverse Solvers

• arxiv url: http://arxiv.org/abs/2403.12063v2
• Date: Sat, 1 Jun 2024 10:54:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 15:47:27.003378
• Title: Consistency Model is an Effective Posterior Sample Approximation for Diffusion Inverse Solvers
• Title（参考訳）: Consistency Modelは拡散逆問題に対する効果的な後部サンプル近似である
• Authors: Tongda Xu, Ziran Zhu, Jian Li, Dailan He, Yuanyuan Wang, Ming Sun, Ling Li, Hongwei Qin, Yan Wang, Jingjing Liu, Ya-Qin Zhang,
• Abstract要約: 過去の近似は後続の手段に依存しており、画像分布の支持には当てはまらない可能性がある。 本稿では,画像分布支援において有効なサンプルを生成することを保証する,後部近似のための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 28.678613691787096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Inverse Solvers (DIS) are designed to sample from the conditional distribution $p_{\theta}(X_0|y)$, with a predefined diffusion model $p_{\theta}(X_0)$, an operator $f(\cdot)$, and a measurement $y=f(x'_0)$ derived from an unknown image $x'_0$. Existing DIS estimate the conditional score function by evaluating $f(\cdot)$ with an approximated posterior sample drawn from $p_{\theta}(X_0|X_t)$. However, most prior approximations rely on the posterior means, which may not lie in the support of the image distribution, thereby potentially diverge from the appearance of genuine images. Such out-of-support samples may significantly degrade the performance of the operator $f(\cdot)$, particularly when it is a neural network. In this paper, we introduces a novel approach for posterior approximation that guarantees to generate valid samples within the support of the image distribution, and also enhances the compatibility with neural network-based operators $f(\cdot)$. We first demonstrate that the solution of the Probability Flow Ordinary Differential Equation (PF-ODE) with an initial value $x_t$ yields an effective posterior sample $p_{\theta}(X_0|X_t=x_t)$. Based on this observation, we adopt the Consistency Model (CM), which is distilled from PF-ODE, for posterior sampling. Furthermore, we design a novel family of DIS using only CM. Through extensive experiments, we show that our proposed method for posterior sample approximation substantially enhance the effectiveness of DIS for neural network operators $f(\cdot)$ (e.g., in semantic segmentation). Additionally, our experiments demonstrate the effectiveness of the new CM-based inversion techniques. The source code is provided in the supplementary material.
• Abstract（参考訳）: Diffusion Inverse Solvers (DIS) は条件分布 $p_{\theta}(X_0|y)$、事前定義された拡散モデル $p_{\theta}(X_0)$、演算子 $f(\cdot)$、未知の画像 $x'_0$ から導出される測定 $y=f(x'_0)$ からサンプルとして設計されている。 既存のDisdisは、$f(\cdot)$を、$p_{\theta}(X_0|X_t)$から引き出された近似後部サンプルで評価することで条件スコア関数を推定する。 しかし、ほとんどの先行近似は、画像分布の支持に関係しない可能性がある後続の手段に依存しており、結果として、真の画像の出現から逸脱する可能性がある。 このようなサポート外サンプルは、特にニューラルネットワークの場合、演算子$f(\cdot)$のパフォーマンスを著しく低下させる可能性がある。 本稿では,画像分布の支持下で有効なサンプルを生成することを保証し,ニューラルネットワークベースの演算子$f(\cdot)$との整合性を向上する後方近似の新しい手法を提案する。 確率フロー正規微分方程式 (PF-ODE) の初期値 $x_t$ の解が有効な後続サンプル $p_{\theta}(X_0|X_t=x_t)$ を得ることを示した。 本研究は, PF-ODE から蒸留した Consistency Model (CM) を後部サンプリングに適用する。 さらに、CMのみを用いて、新しいdisファミリーを設計する。 より広範な実験により,提案手法は,ニューラルネットワーク演算子$f(\cdot)$(eg, in semantic segmentation)に対するdisの有効性を著しく向上させることを示した。 さらに,本実験では,新しいCMベースの逆解析手法の有効性を実証した。 ソースコードは補足材料に提供される。

関連論文リスト

• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions [11.222970035173372]
  カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する 核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
  論文  参考訳（メタデータ） (2024-02-23T20:51:31Z)
• Diffusion Posterior Sampling is Computationally Intractable [9.483130965295324]
  後方サンプリングは、塗装、超解像、MRI再構成などのタスクに有用である。 暗号における最も基本的な仮定では、一方通行関数が存在する。 また,指数時間回帰サンプリングは,指数時間で逆転する一方向関数が存在するという強い仮定の下で,本質的に最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-20T05:28:13Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
  既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。 我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
  論文  参考訳（メタデータ） (2022-03-18T18:50:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。