論文の概要: Denoising Diffusions with Optimal Transport: Localization, Curvature, and Multi-Scale Complexity
- arxiv url: http://arxiv.org/abs/2411.01629v1
- Date: Sun, 03 Nov 2024 16:47:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:48:55.634616
- Title: Denoising Diffusions with Optimal Transport: Localization, Curvature, and Multi-Scale Complexity
- Title（参考訳）: 最適輸送を伴う拡散の解法--局在化、曲率、多スケール複雑度
- Authors: Tengyuan Liang, Kulunu Dharmakeerthi, Takuya Koriyama,
- Abstract要約: 拡散に基づく生成モデルはランゲヴィン拡散鎖を認知することを目的としている。
交通費の最適逆方向マップは, スコアデノーミングが最適であることを示す。
- 参考スコア（独自算出の注目度）: 5.075506385456813
- License:
- Abstract: Adding noise is easy; what about denoising? Diffusion is easy; what about reverting a diffusion? Diffusion-based generative models aim to denoise a Langevin diffusion chain, moving from a log-concave equilibrium measure $\nu$, say isotropic Gaussian, back to a complex, possibly non-log-concave initial measure $\mu$. The score function performs denoising, going backward in time, predicting the conditional mean of the past location given the current. We show that score denoising is the optimal backward map in transportation cost. What is its localization uncertainty? We show that the curvature function determines this localization uncertainty, measured as the conditional variance of the past location given the current. We study in this paper the effectiveness of the diffuse-then-denoise process: the contraction of the forward diffusion chain, offset by the possible expansion of the backward denoising chain, governs the denoising difficulty. For any initial measure $\mu$, we prove that this offset net contraction at time $t$ is characterized by the curvature complexity of a smoothed $\mu$ at a specific signal-to-noise ratio (SNR) scale $r(t)$. We discover that the multi-scale curvature complexity collectively determines the difficulty of the denoising chain. Our multi-scale complexity quantifies a fine-grained notion of average-case curvature instead of the worst-case. Curiously, it depends on an integrated tail function, measuring the relative mass of locations with positive curvature versus those with negative curvature; denoising at a specific SNR scale is easy if such an integrated tail is light. We conclude with several non-log-concave examples to demonstrate how the multi-scale complexity probes the bottleneck SNR for the diffuse-then-denoise process.
- Abstract（参考訳）: ノイズを追加するのは簡単です。
拡散は簡単で、拡散を戻すのはどうでしょう?
拡散に基づく生成モデルは、対数-凹平衡測度 $\nu$ から複素、あるいは非対数-凹イニシャル測度 $\mu$ に戻すランゲヴィン拡散鎖を denoise することを目的としている。
スコア関数は、電流が与えられた過去の位置の条件平均を予測して、時間を遡ってデノイングを行う。
交通費の最適逆方向マップは, スコアデノーミングが最適であることを示す。
そのローカライゼーションの不確実性は何か?
電流が与えられた過去の位置の条件分散として測定された局所化の不確かさを曲率関数が決定することを示す。
本稿では, 拡散列の縮退, 逆方向の縮退, 逆方向の縮退, 逆方向の縮退といった拡散列の縮退, 拡散列の縮退, 拡散列の縮退が, 難易度を左右するプロセスの有効性について検討する。
任意の初期測度 $\mu$ に対して、時間 $t$ におけるこのオフセットネット収縮は、特定の信号-雑音比 (SNR) スケール $r(t)$ において滑らかな$\mu$ の曲率複雑性によって特徴づけられる。
マルチスケールな曲率の複雑さが重なり合い、デノナイジングチェーンの難易度を決定することが判明した。
私たちのマルチスケールの複雑さは、最悪のケースではなく、平均ケース曲率のきめ細かい概念を定量化します。
事実、これは正の曲率を持つ位置と負の曲率を持つ位置の相対的な質量を測定する統合テール関数に依存している。
マルチスケールの複雑性が拡散列デノエーズプロセスのボトルネックSNRをいかに探索するかを示すために、いくつかの非log-concaveの例で結論を下す。
関連論文リスト
- Free Hunch: Denoiser Covariance Estimation for Diffusion Models Without Extra Costs [25.784316302130875]
共分散情報は、学習データ及び生成軌道の曲率から自由に利用できる。
ノイズレベル間で共分散推定を伝達する新しい手法である Em (i) を用いて,これらの情報ソースを統合する。
この手法を線形逆問題に対して検証し、最近のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-15T00:23:09Z) - Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel [12.464924018243988]
近年の研究では、勾配降下による広いニューラルネットワークのトレーニングは、ガウス過程における後部分布の平均を計算することと正式に等価であることが示されている。
非ゼロアレタリックノイズに対処する方法を示し, 後部共分散推定器を導出する。
論文 参考訳（メタデータ） (2024-09-06T00:34:44Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - Listening to the Noise: Blind Denoising with Gibbs Diffusion [4.310554658046964]
雑音分布の族に先立って信号のマッピングを訓練した条件拡散モデルからサンプリングステップを交互に行うギブスアルゴリズムを開発した。
我々の理論的分析は潜在的な落とし穴を強調し、診断利用をガイドし、ギブス定常分布の誤差を定量化する。
本研究では,1)未知の振幅とスペクトル指数を持つ有色雑音を含む自然画像の視覚的復調,2)宇宙論の問題について述べる。
論文 参考訳（メタデータ） (2024-02-29T18:50:11Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - PENDANTSS: PEnalized Norm-ratios Disentangling Additive Noise, Trend and
Sparse Spikes [1.9766522384767222]
PENDANTSSは,スパースピーク様信号の連立トレンド除去とブラインドデコンボリューションのために提案される。
これは、スムーズな傾向とノイズがローパスフィルタリングによって幾らか分離されるという仮説と相似する。
論文 参考訳（メタデータ） (2023-01-04T10:11:21Z) - Diffusion Posterior Sampling for General Noisy Inverse Problems [50.873313752797124]
我々は、後方サンプリングの近似により、雑音(非線形)逆問題に対処するために拡散解法を拡張した。
本手法は,拡散モデルが様々な計測ノイズ統計を組み込むことができることを示す。
論文 参考訳（メタデータ） (2022-09-29T11:12:27Z) - Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
NLT(Noisy Long-Tailed Classification)を紹介する。
ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。
我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
論文 参考訳（メタデータ） (2022-07-27T09:03:03Z) - The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。
特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文 参考訳（メタデータ） (2022-03-02T13:59:20Z) - Debiased Sinkhorn barycenters [110.79706180350507]
最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。
このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。
両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
論文 参考訳（メタデータ） (2020-06-03T23:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。