論文の概要: Beyond First-Order Tweedie: Solving Inverse Problems using Latent
Diffusion
- arxiv url: http://arxiv.org/abs/2312.00852v1
- Date: Fri, 1 Dec 2023 14:36:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 20:25:35.201842
- Title: Beyond First-Order Tweedie: Solving Inverse Problems using Latent
Diffusion
- Title(参考訳): 一階 tweedie を超えて:潜在拡散を用いた逆問題を解く
- Authors: Litu Rout and Yujia Chen and Abhishek Kumar and Constantine Caramanis
and Sanjay Shakkottai and Wen-Sheng Chu
- Abstract要約: 我々はSurrogate Loss (STSL) の2階Tweedieサンプルについて紹介する。
STSLは、二階近似を用いたトラクタブル・リバース・プロセスを備えた一階Tweedieに匹敵する効率性を提供する。
提案手法は,PSLDとP2Lを超越し,神経機能評価の4倍,8倍の低減を実現した。
- 参考スコア(独自算出の注目度): 41.758635460235716
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sampling from the posterior distribution poses a major computational
challenge in solving inverse problems using latent diffusion models. Common
methods rely on Tweedie's first-order moments, which are known to induce a
quality-limiting bias. Existing second-order approximations are impractical due
to prohibitive computational costs, making standard reverse diffusion processes
intractable for posterior sampling. This paper introduces Second-order Tweedie
sampler from Surrogate Loss (STSL), a novel sampler that offers efficiency
comparable to first-order Tweedie with a tractable reverse process using
second-order approximation. Our theoretical results reveal that the
second-order approximation is lower bounded by our surrogate loss that only
requires $O(1)$ compute using the trace of the Hessian, and by the lower bound
we derive a new drift term to make the reverse process tractable. Our method
surpasses SoTA solvers PSLD and P2L, achieving 4X and 8X reduction in neural
function evaluations, respectively, while notably enhancing sampling quality on
FFHQ, ImageNet, and COCO benchmarks. In addition, we show STSL extends to
text-guided image editing and addresses residual distortions present from
corrupted images in leading text-guided image editing methods. To our best
knowledge, this is the first work to offer an efficient second-order
approximation in solving inverse problems using latent diffusion and editing
real-world images with corruptions.
- Abstract(参考訳): 後方分布からのサンプリングは潜在拡散モデルを用いた逆問題を解く上で大きな課題となる。
一般的な方法はツイーディの1次モーメントに依存しており、品質制限バイアスを引き起こすことが知られている。
既存の2階近似は、計算コストの禁止による非現実的であり、標準逆拡散過程を後方サンプリングのために引き出すことができる。
本稿では,第2次近似を用いた移動可能な逆過程を持つ第1次トウィーに匹敵する効率を提供する新しいサンプリング器であるsurrogate loss (stsl) による第2次トウィー・サンプラーを提案する。
理論的には、二階近似は、ヘッシアンのトレースを使って計算するのに$o(1)$を必要とするサーロゲート損失によってより低く、下限では逆過程を扱いやすくするための新しいドリフト項を導出する。
提案手法は, FFHQ, ImageNet, COCOベンチマークのサンプリング品質を向上しつつ, 神経機能評価の4倍, 8倍の精度でSOTAソルバPSLD, P2Lを上回った。
また,stslはテキストガイド画像編集に拡張され,上位のテキストガイド画像編集手法において破損画像から生じる残差歪みに対処する。
我々の知る限り、これは潜伏拡散を用いた逆問題の解法を効率よく二階近似し、実際の画像を汚損で編集する最初の試みである。
関連論文リスト
- A Dense Reward View on Aligning Text-to-Image Diffusion with Preference [61.175861413985054]
本稿では,T2I逆鎖の初期ステップを強調する,トラクタブルアライメントの目的を提案する。
単一および複数プロンプト生成の実験では,本手法は強い関連するベースラインと競合する。
論文 参考訳(メタデータ) (2024-02-13T07:37:24Z) - Improving Diffusion Models for Inverse Problems Using Optimal Posterior
Covariance [54.70569748637465]
最近の拡散モデルは、ノイズのある線形逆問題に対する有望なゼロショット解を提供する。
既存のゼロショット法に対する最初の統一的解釈を提案する。
近年の手法は, 等方性ガウス近似を導出可能な後部分布に置き換えることと等価であることを示す。
論文 参考訳(メタデータ) (2024-02-03T13:35:39Z) - Fixed-point Inversion for Text-to-image diffusion models [39.66869060771468]
与えられた画像を反転させる現在の技術は遅く、あるいは不正確である。
ここでは、この問題を不動点方程式問題として定式化し、不動点反復を用いて解く。
符号化のプロンプト対応調整を適用することで、その修正方法を示す。
論文 参考訳(メタデータ) (2023-12-19T19:19:19Z) - Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。
P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
論文 参考訳(メタデータ) (2023-10-02T11:31:48Z) - DifFace: Blind Face Restoration with Diffused Error Contraction [73.80750717836384]
DifFaceは、複雑な損失設計なしで、目に見えない複雑な劣化にもっと優しく対処できる。
現在の最先端の手法よりも優れており、特に深刻な劣化の場合には優れている。
論文 参考訳(メタデータ) (2022-12-13T11:52:33Z) - Improving Diffusion Models for Inverse Problems using Manifold
Constraints [35.50393732825064]
我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。
この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。
本手法は理論上も経験上も従来の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-02T09:06:10Z) - On Measuring and Controlling the Spectral Bias of the Deep Image Prior [63.88575598930554]
深層画像は、未学習のネットワークが逆画像問題に対処できることを実証している。
ピークに達するとパフォーマンスが低下するので、いつ最適化を止めるかを決めるにはオラクルが必要です。
これらの問題に対処するために、スペクトルバイアスの観点から先行した深部画像について検討する。
論文 参考訳(メタデータ) (2021-07-02T15:10:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。