論文の概要: Blind Inversion using Latent Diffusion Priors

• arxiv url: http://arxiv.org/abs/2407.01027v1
• Date: Mon, 1 Jul 2024 07:23:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 22:29:17.325016
• Title: Blind Inversion using Latent Diffusion Priors
• Title（参考訳）: Latent Diffusion Priors を用いたブラインドインバージョン
• Authors: Weimin Bai, Siyi Chen, Wenzheng Chen, He Sun,
• Abstract要約: LatentDEMは、潜伏拡散先行法を用いて視覚的逆問題に対処する革新的な技術である。 一般的なフレームワークとして、LatentDEMは線形および非線形逆問題の両方をサポートする。 本研究では,LatentDEMの2次元ブラインド劣化と3次元スパースビュー再構成作業に対する性能評価を行った。
• 参考スコア（独自算出の注目度）: 10.427971517259316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as powerful tools for solving inverse problems due to their exceptional ability to model complex prior distributions. However, existing methods predominantly assume known forward operators (i.e., non-blind), limiting their applicability in practical settings where acquiring such operators is costly. Additionally, many current approaches rely on pixel-space diffusion models, leaving the potential of more powerful latent diffusion models (LDMs) underexplored. In this paper, we introduce LatentDEM, an innovative technique that addresses more challenging blind inverse problems using latent diffusion priors. At the core of our method is solving blind inverse problems within an iterative Expectation-Maximization (EM) framework: (1) the E-step recovers clean images from corrupted observations using LDM priors and a known forward model, and (2) the M-step estimates the forward operator based on the recovered images. Additionally, we propose two novel optimization techniques tailored for LDM priors and EM frameworks, yielding more accurate and efficient blind inversion results. As a general framework, LatentDEM supports both linear and non-linear inverse problems. Beyond common 2D image restoration tasks, it enables new capabilities in non-linear 3D inverse rendering problems. We validate LatentDEM's performance on representative 2D blind deblurring and 3D sparse-view reconstruction tasks, demonstrating its superior efficacy over prior arts.
• Abstract（参考訳）: 拡散モデルは、複雑な事前分布をモデル化する異常な能力のため、逆問題を解決する強力なツールとして登場した。 しかし、既存の手法では、既知のフォワード演算子(すなわち、非盲検演算子)を主に仮定し、そのような演算子を取得するのにコストがかかるような現実的な環境での適用性を制限している。 さらに、現在の多くのアプローチはピクセル空間拡散モデルに依存しており、より強力な潜在拡散モデル(LDM)の可能性は未探索のままである。 本稿では,遅延拡散先行法を用いて,より困難なブラインド逆問題に対処する革新的な手法であるLatentDEMを紹介する。 本手法の中核となるのは, 反復予測最大化 (EM) フレームワーク内の視覚的逆問題である。(1) E-step は, LDM と既知のフォワードモデルを用いて, 劣化した観測からクリーンな画像を復元し, (2) M-step は復元された画像に基づいてフォワード演算子を推定する。 さらに, LDM と EM フレームワークに適した2つの新しい最適化手法を提案する。 一般的なフレームワークとして、LatentDEMは線形および非線形逆問題の両方をサポートする。 一般的な2次元画像復元タスク以外にも、非線形3次元逆レンダリング問題における新たな機能を実現する。 本研究では,LatentDEMの2次元ブラインド欠陥と3次元スパースビュー再構築作業に対する性能評価を行い,先行技術よりも優れた効果を示した。

関連論文リスト

• CoSIGN: Few-Step Guidance of ConSIstency Model to Solve General INverse Problems [3.3969056208620128]
  我々は, 高い復元品質を維持しつつ, 推論ステップの境界を1-2 NFEに推し進めることを提案する。 本手法は拡散型逆問題解法における新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-07-17T15:57:50Z)
• Text-to-Image Rectified Flow as Plug-and-Play Priors [52.586838532560755]
  整流流は、ソースからターゲット分布への線形進行を強制する新しい生成モデルのクラスである。 補正フローアプローチが生成品質と効率を上回り,推論ステップを少なくすることを示した。 また,画像のインバージョンや編集における競合性能も示す。
  論文  参考訳（メタデータ） (2024-06-05T14:02:31Z)
• Principled Probabilistic Imaging using Diffusion Models as Plug-and-Play Priors [29.203951468436145]
  拡散モデル(DM)は、最近、複雑な画像分布をモデル化する際、優れた機能を示した。 一般的な逆問題に対する後続サンプリングを行うマルコフ連鎖モンテカルロアルゴリズムを提案する。 提案手法の有効性を6つの逆問題に適用した。
  論文  参考訳（メタデータ） (2024-05-29T05:42:25Z)
• BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
  BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。 BlindDiffはMAPベースの最適化をDMにシームレスに統合する。 合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2024-03-15T11:21:34Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Learn to Optimize Denoising Scores for 3D Generation: A Unified and Improved Diffusion Prior on NeRF and 3D Gaussian Splatting [60.393072253444934]
  本稿では,3次元生成タスクの拡散先行性向上を目的とした統合フレームワークを提案する。 拡散先行と拡散モデルの訓練手順の相違を同定し、3次元生成の質を著しく損なう。
  論文  参考訳（メタデータ） (2023-12-08T03:55:34Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow Removal [74.86415440438051]
  画像と劣化先行情報を統合した統合拡散フレームワークを提案する。 SRDデータセット上でのPSNRは31.69dBから34.73dBへと大幅に向上した。
  論文  参考訳（メタデータ） (2022-12-09T07:48:30Z)
• Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models [33.343489006271255]
  拡散モデルは、高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。 そこで本研究では, モデルに基づく2次元拡散を, 全次元にわたるコヒーレントな再構成を達成できるように, 実験時の残りの方向で先行する2次元拡散を拡大することを提案する。 提案手法は,1つのコモディティGPU上で動作可能であり,新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2022-11-19T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。