論文の概要: Beyond First-Order Tweedie: Solving Inverse Problems using Latent Diffusion

• arxiv url: http://arxiv.org/abs/2312.00852v1
• Date: Fri, 1 Dec 2023 14:36:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:25:35.201842
• Title: Beyond First-Order Tweedie: Solving Inverse Problems using Latent Diffusion
• Title（参考訳）: 一階 tweedie を超えて:潜在拡散を用いた逆問題を解く
• Authors: Litu Rout and Yujia Chen and Abhishek Kumar and Constantine Caramanis and Sanjay Shakkottai and Wen-Sheng Chu
• Abstract要約: 我々はSurrogate Loss (STSL) の2階Tweedieサンプルについて紹介する。 STSLは、二階近似を用いたトラクタブル・リバース・プロセスを備えた一階Tweedieに匹敵する効率性を提供する。 提案手法は,PSLDとP2Lを超越し,神経機能評価の4倍,8倍の低減を実現した。
• 参考スコア（独自算出の注目度）: 41.758635460235716
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sampling from the posterior distribution poses a major computational challenge in solving inverse problems using latent diffusion models. Common methods rely on Tweedie's first-order moments, which are known to induce a quality-limiting bias. Existing second-order approximations are impractical due to prohibitive computational costs, making standard reverse diffusion processes intractable for posterior sampling. This paper introduces Second-order Tweedie sampler from Surrogate Loss (STSL), a novel sampler that offers efficiency comparable to first-order Tweedie with a tractable reverse process using second-order approximation. Our theoretical results reveal that the second-order approximation is lower bounded by our surrogate loss that only requires $O(1)$ compute using the trace of the Hessian, and by the lower bound we derive a new drift term to make the reverse process tractable. Our method surpasses SoTA solvers PSLD and P2L, achieving 4X and 8X reduction in neural function evaluations, respectively, while notably enhancing sampling quality on FFHQ, ImageNet, and COCO benchmarks. In addition, we show STSL extends to text-guided image editing and addresses residual distortions present from corrupted images in leading text-guided image editing methods. To our best knowledge, this is the first work to offer an efficient second-order approximation in solving inverse problems using latent diffusion and editing real-world images with corruptions.
• Abstract（参考訳）: 後方分布からのサンプリングは潜在拡散モデルを用いた逆問題を解く上で大きな課題となる。 一般的な方法はツイーディの1次モーメントに依存しており、品質制限バイアスを引き起こすことが知られている。 既存の2階近似は、計算コストの禁止による非現実的であり、標準逆拡散過程を後方サンプリングのために引き出すことができる。 本稿では,第2次近似を用いた移動可能な逆過程を持つ第1次トウィーに匹敵する効率を提供する新しいサンプリング器であるsurrogate loss (stsl) による第2次トウィー・サンプラーを提案する。 理論的には、二階近似は、ヘッシアンのトレースを使って計算するのに$o(1)$を必要とするサーロゲート損失によってより低く、下限では逆過程を扱いやすくするための新しいドリフト項を導出する。 提案手法は, FFHQ, ImageNet, COCOベンチマークのサンプリング品質を向上しつつ, 神経機能評価の4倍, 8倍の精度でSOTAソルバPSLD, P2Lを上回った。 また,stslはテキストガイド画像編集に拡張され,上位のテキストガイド画像編集手法において破損画像から生じる残差歪みに対処する。 我々の知る限り、これは潜伏拡散を用いた逆問題の解法を効率よく二階近似し、実際の画像を汚損で編集する最初の試みである。

関連論文リスト

• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Diffusion Prior-Based Amortized Variational Inference for Noisy Inverse Problems [12.482127049881026]
  そこで本稿では, 償却変分推論の観点から, 拡散による逆問題の解法を提案する。 我々の償却推論は、測定結果を対応するクリーンデータの暗黙の後方分布に直接マッピングする関数を学習し、未知の計測でも単一ステップの後方サンプリングを可能にする。
  論文  参考訳（メタデータ） (2024-07-23T02:14:18Z)
• Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
  Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。 提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。 画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T23:38:12Z)
• Divide-and-Conquer Posterior Sampling for Denoising Diffusion Priors [21.0128625037708]
  提案手法は, 分割・分散型後方サンプリング方式である。 これにより、再トレーニングを必要とせずに、現在のテクニックに関連する近似誤差を低減することができる。 ベイズ逆問題に対するアプローチの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T01:47:24Z)
• BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
  BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。 BlindDiffはMAPベースの最適化をDMにシームレスに統合する。 合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2024-03-15T11:21:34Z)
• Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
  本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。 P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
  論文  参考訳（メタデータ） (2023-10-02T11:31:48Z)
• DifFace: Blind Face Restoration with Diffused Error Contraction [62.476329680424975]
  DifFaceは、複雑な損失設計なしで、目に見えない複雑な劣化にもっと優しく対処できる。 現在の最先端の手法よりも優れており、特に深刻な劣化の場合には優れている。
  論文  参考訳（メタデータ） (2022-12-13T11:52:33Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。