論文の概要: Consistency Models Improve Diffusion Inverse Solvers
- arxiv url: http://arxiv.org/abs/2403.12063v1
- Date: Fri, 9 Feb 2024 02:23:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 07:46:43.498021
- Title: Consistency Models Improve Diffusion Inverse Solvers
- Title(参考訳): 拡散逆解法を改善する一貫性モデル
- Authors: Tongda Xu, Ziran Zhu, Dailan He, Yuanyuan Wang, Ming Sun, Ning Li, Hongwei Qin, Yan Wang, Jingjing Liu, Ya-Qin Zhang,
- Abstract要約: Diffusion inversesolvr (DIS) は拡散前の画像を見つけることを目的としている。
ほとんどの非線形 DIS は$hatx_0|t=mathbbE[x_0|x_t]$ で$f(.)$ を評価し、距離を最小化する。
整合性モデル (CM) による後続平均の置き換えにより, 非線形$f(.)$でのdis性能が向上することを示す。
- 参考スコア(独自算出の注目度): 25.37356181214804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion inverse solvers (DIS) aim to find an image $x$ that lives on the diffusion prior while satisfying the constraint $f(x) = y$, given an operator $f(.)$ and measurement $y$. Most non-linear DIS use posterior mean $\hat{x}_{0|t}=\mathbb{E}[x_0|x_t]$ to evaluate $f(.)$ and minimize the distance $||f(\hat{x}_{0|t})-y||^2$. Previous works show that posterior mean-based distance is biased; instead, posterior sample $x_{0|t}\sim p_{\theta}(x_0|x_t)$ promises a better candidate. In this paper, we first clarify when is posterior sample better: $1)$ When $f(.)$ is linear, the distance with posterior mean is as good as single posterior sample, thus preferable as it does not require Monte Carlo; $2)$ When $f(.)$ is non-linear, the distance using posterior sample is better. As previous approximations to posterior sample do not look like a real image, we propose to use consistency model (CM) as a high quality approximation. In addition, we propose a new family of DIS using pure CM. Empirically, we show that replacing posterior mean by CM improves DIS performance on non-linear $f(.)$ (e.g. semantic segmentation, image captioning). Further, our pure CM inversion works well for both linear and non-linear $f(.)$.
- Abstract(参考訳): Diffusion inversesolvr (DIS) は、$f(x) = y$ という制約を満たすことなく、拡散前に生存するイメージ $x$ を見つけることを目的としており、演算子 $f(.)$ と測定 $y$ が与えられる。
殆どの非線形 DIS は後方平均 $\hat{x}_{0|t}=\mathbb{E}[x_0|x_t]$ を用いて$f(.)$ を評価し、距離 $||f(\hat{x}_{0|t})-y|^2$ を最小化する。
以前の研究では、後進平均ベース距離が偏りがあることが示されており、代わりに、後進サンプル $x_{0|t}\sim p_{\theta}(x_0|x_t)$ はより良い候補を約束する。
本論文は, 後部サンプルがいつより良いのかを最初に明らかにする: 1)$$f(.)$ が線形である場合, 後部平均距離は, 1 つの後部サンプルと同程度であり, モンテカルロを必要としない場合, 2)$ $f(.)$ が非線形であれば, 後部サンプルを用いた距離の方がよい。
後部サンプルに対する以前の近似は実像に見えないため、高品質な近似として一貫性モデル(CM)を用いることを提案する。
さらに,純粋CMを用いた新しいdisファミリーを提案する。
実験により, 後方平均をCMで置き換えることにより, 非線形$f(.)$(egセマンティックセグメンテーション, 画像キャプション)のdis性能が向上することを示した。
さらに、純粋なCM逆変換は線型および非線形の$f(.)$の両方でうまく機能する。
関連論文リスト
- Minimax Optimality of Score-based Diffusion Models: Beyond the Density
Lower Bound Assumptions [12.260288510756796]
カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する
核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
論文 参考訳(メタデータ) (2024-02-23T20:51:31Z) - Model approximation in MDPs with unbounded per-step cost [3.456139143869137]
我々は、無限水平割引コストのMarkov決定プロセス$mathcalM$に対して、近似モデル$hatmathcalM$にしかアクセスできない場合に制御ポリシーを設計する問題を考える。
最適なポリシー$hatpistar$は、オリジナルのモデル$mathcalM$で使用される場合、どの程度機能しますか?
コスト関数間の重み付き距離と、原モデルと近似モデルの遷移核間の重み付き距離に明示的に依存する上限を提供する。
論文 参考訳(メタデータ) (2024-02-13T21:36:30Z) - On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [59.65871549878937]
本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。
我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。
収束率は$frac1Tsum_k=1Tと類似していると考えられる。
論文 参考訳(メタデータ) (2024-02-01T07:21:32Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳(メタデータ) (2023-09-25T17:54:19Z) - Optimal Sketching Bounds for Sparse Linear Regression [116.30196615349226]
我々は、$ell_p$ノルムや広範なヒンジ様損失関数のクラスから、様々な損失関数の下で、$k$スパース線形回帰の難読スケッチを研究する。
スパース$ell$varepsレグレッションの場合、$Theta(klog(d/k)/varepsilon2)$ rowsでスケッチの上に曖昧な分布が存在し、これは定数要素に固執することを示している。
また、$O(mu2 klog(mun d/varepsilon)/varのスケッチも示します。
論文 参考訳(メタデータ) (2023-04-05T07:24:19Z) - Almost Linear Constant-Factor Sketching for $\ell_1$ and Logistic
Regression [74.28017932704704]
我々は,従来の難解なスケッチとターンタイルストリーミングの結果を$ell_1$とロジスティック回帰で改善する。
また、入力空間の間隔で1+varepsilon$近似を出力するトレードオフも行います。
我々のスケッチは、データ依存正規化器が個々のロジスティック損失の分散に対応するような、正規化されたロジスティック回帰を近似するために拡張することができる。
論文 参考訳(メタデータ) (2023-03-31T18:12:33Z) - A first-order primal-dual method with adaptivity to local smoothness [64.62056765216386]
凸凹対象 $min_x max_y f(x) + langle Ax, yrangle - g*(y)$, ここで、$f$ は局所リプシッツ勾配を持つ凸関数であり、$g$ は凸かつ非滑らかである。
主勾配ステップと2段ステップを交互に交互に行うCondat-Vuアルゴリズムの適応バージョンを提案する。
論文 参考訳(メタデータ) (2021-10-28T14:19:30Z) - Minimax Optimal Regression over Sobolev Spaces via Laplacian
Regularization on Neighborhood Graphs [25.597646488273558]
非パラメトリック回帰に対するグラフに基づくアプローチであるラプラシア平滑化の統計的性質について検討する。
ラプラシアン滑らか化が多様体適応であることを証明する。
論文 参考訳(メタデータ) (2021-06-03T01:20:41Z) - Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。
本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。
スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文 参考訳(メタデータ) (2020-11-21T01:33:15Z) - Faster Uncertainty Quantification for Inverse Problems with Conditional
Normalizing Flows [0.9176056742068814]
逆問題では、ペア化されたサンプル$(x,y)sim p_X,Y(x,y)$で、$y$は物理系の部分的な観測であることが多い。
条件付きジェネレータ$q_theta(x|y)$をトレーニングするために,フローとジョイントデータを正規化する2段階のスキームを提案する。
論文 参考訳(メタデータ) (2020-07-15T20:36:30Z) - $\lambda$-Regularized A-Optimal Design and its Approximation by
$\lambda$-Regularized Proportional Volume Sampling [1.256413718364189]
本稿では,$lambda$-regularized $A$-optimal design problemについて検討し,$lambda$-regularized proportional volume sample algorithmを紹介する。
この問題は、リッジ回帰モデルにおける真の係数からリッジ回帰予測器の2乗誤差を最小化しようとする、リッジ回帰の最適設計から動機づけられている。
論文 参考訳(メタデータ) (2020-06-19T15:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。