論文の概要: Consistency Models Improve Diffusion Inverse Solvers

• arxiv url: http://arxiv.org/abs/2403.12063v1
• Date: Fri, 9 Feb 2024 02:23:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 07:46:43.498021
• Title: Consistency Models Improve Diffusion Inverse Solvers
• Title（参考訳）: 拡散逆解法を改善する一貫性モデル
• Authors: Tongda Xu, Ziran Zhu, Dailan He, Yuanyuan Wang, Ming Sun, Ning Li, Hongwei Qin, Yan Wang, Jingjing Liu, Ya-Qin Zhang,
• Abstract要約: Diffusion inversesolvr (DIS) は拡散前の画像を見つけることを目的としている。 ほとんどの非線形 DIS は$hatx_0|t=mathbbE[x_0|x_t]$ で$f(.)$ を評価し、距離を最小化する。 整合性モデル (CM) による後続平均の置き換えにより, 非線形$f(.)$でのdis性能が向上することを示す。
• 参考スコア（独自算出の注目度）: 25.37356181214804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion inverse solvers (DIS) aim to find an image $x$ that lives on the diffusion prior while satisfying the constraint $f(x) = y$, given an operator $f(.)$ and measurement $y$. Most non-linear DIS use posterior mean $\hat{x}_{0|t}=\mathbb{E}[x_0|x_t]$ to evaluate $f(.)$ and minimize the distance $||f(\hat{x}_{0|t})-y||^2$. Previous works show that posterior mean-based distance is biased; instead, posterior sample $x_{0|t}\sim p_{\theta}(x_0|x_t)$ promises a better candidate. In this paper, we first clarify when is posterior sample better: $1)$ When $f(.)$ is linear, the distance with posterior mean is as good as single posterior sample, thus preferable as it does not require Monte Carlo; $2)$ When $f(.)$ is non-linear, the distance using posterior sample is better. As previous approximations to posterior sample do not look like a real image, we propose to use consistency model (CM) as a high quality approximation. In addition, we propose a new family of DIS using pure CM. Empirically, we show that replacing posterior mean by CM improves DIS performance on non-linear $f(.)$ (e.g. semantic segmentation, image captioning). Further, our pure CM inversion works well for both linear and non-linear $f(.)$.
• Abstract（参考訳）: Diffusion inversesolvr (DIS) は、$f(x) = y$ という制約を満たすことなく、拡散前に生存するイメージ $x$ を見つけることを目的としており、演算子 $f(.)$ と測定 $y$ が与えられる。 殆どの非線形 DIS は後方平均 $\hat{x}_{0|t}=\mathbb{E}[x_0|x_t]$ を用いて$f(.)$ を評価し、距離 $||f(\hat{x}_{0|t})-y|^2$ を最小化する。 以前の研究では、後進平均ベース距離が偏りがあることが示されており、代わりに、後進サンプル $x_{0|t}\sim p_{\theta}(x_0|x_t)$ はより良い候補を約束する。 本論文は, 後部サンプルがいつより良いのかを最初に明らかにする: 1)$$f(.)$ が線形である場合, 後部平均距離は, 1 つの後部サンプルと同程度であり, モンテカルロを必要としない場合, 2)$ $f(.)$ が非線形であれば, 後部サンプルを用いた距離の方がよい。 後部サンプルに対する以前の近似は実像に見えないため、高品質な近似として一貫性モデル(CM)を用いることを提案する。 さらに,純粋CMを用いた新しいdisファミリーを提案する。 実験により, 後方平均をCMで置き換えることにより, 非線形$f(.)$(egセマンティックセグメンテーション, 画像キャプション)のdis性能が向上することを示した。 さらに、純粋なCM逆変換は線型および非線形の$f(.)$の両方でうまく機能する。

関連論文リスト

• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions [11.222970035173372]
  カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する 核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
  論文  参考訳（メタデータ） (2024-02-23T20:51:31Z)
• Diffusion Posterior Sampling is Computationally Intractable [9.483130965295324]
  後方サンプリングは、塗装、超解像、MRI再構成などのタスクに有用である。 暗号における最も基本的な仮定では、一方通行関数が存在する。 また,指数時間回帰サンプリングは,指数時間で逆転する一方向関数が存在するという強い仮定の下で,本質的に最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-20T05:28:13Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
  既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。 我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
  論文  参考訳（メタデータ） (2022-03-18T18:50:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。