論文の概要: Integrating Amortized Inference with Diffusion Models for Learning Clean Distribution from Corrupted Images
- arxiv url: http://arxiv.org/abs/2407.11162v1
- Date: Mon, 15 Jul 2024 18:33:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 19:31:15.432661
- Title: Integrating Amortized Inference with Diffusion Models for Learning Clean Distribution from Corrupted Images
- Title（参考訳）: 劣化画像からのクリーンな分布学習のための近似推論と拡散モデルの統合
- Authors: Yifei Wang, Weimin Bai, Weijian Luo, Wenzheng Chen, He Sun,
- Abstract要約: 拡散モデル(DM)は、逆問題を解決するための強力な生成モデルとして登場した。
FlowDiffは条件付き正規化フローモデルを利用して、破損したデータソース上で拡散モデルのトレーニングを容易にする共同トレーニングパラダイムである。
実験の結果,FlowDiffは広範囲の破損したデータソースにわたるクリーンな分布を効果的に学習できることがわかった。
- 参考スコア（独自算出の注目度）: 19.957503854446735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models (DMs) have emerged as powerful generative models for solving inverse problems, offering a good approximation of prior distributions of real-world image data. Typically, diffusion models rely on large-scale clean signals to accurately learn the score functions of ground truth clean image distributions. However, such a requirement for large amounts of clean data is often impractical in real-world applications, especially in fields where data samples are expensive to obtain. To address this limitation, in this work, we introduce \emph{FlowDiff}, a novel joint training paradigm that leverages a conditional normalizing flow model to facilitate the training of diffusion models on corrupted data sources. The conditional normalizing flow try to learn to recover clean images through a novel amortized inference mechanism, and can thus effectively facilitate the diffusion model's training with corrupted data. On the other side, diffusion models provide strong priors which in turn improve the quality of image recovery. The flow model and the diffusion model can therefore promote each other and demonstrate strong empirical performances. Our elaborate experiment shows that FlowDiff can effectively learn clean distributions across a wide range of corrupted data sources, such as noisy and blurry images. It consistently outperforms existing baselines with significant margins under identical conditions. Additionally, we also study the learned diffusion prior, observing its superior performance in downstream computational imaging tasks, including inpainting, denoising, and deblurring.
- Abstract（参考訳）: 拡散モデル(DM)は、逆問題を解決するための強力な生成モデルとして登場し、実世界の画像データの事前分布を適切に近似する。
通常、拡散モデルは、地上の真実のクリーンな画像分布のスコア関数を正確に学習するために、大規模なクリーン信号に依存している。
しかし、このような大量のクリーンなデータに対する要求は、現実世界のアプリケーション、特にデータサンプルが入手に費用がかかる分野において、現実的ではないことが多い。
この制限に対処するため,本稿では,条件付き正規化フローモデルを利用して,破損したデータソース上での拡散モデルのトレーニングを容易にする,新しいジョイントトレーニングパラダイムである \emph{FlowDiff} を紹介する。
条件付き正規化フローは、新しい補正推論機構を通じてクリーンな画像の復元を学ぼうとしており、これにより、破損したデータによる拡散モデルのトレーニングを効果的に行うことができる。
一方、拡散モデルは、画像回復の質を向上する強力な先行情報を提供する。
したがって、フローモデルと拡散モデルは互いに促進し、強い経験的性能を示すことができる。
我々の精巧な実験は、FlowDiffがノイズやぼやけた画像など、広範囲の破損したデータソースのクリーンな分布を効果的に学習できることを示しています。
これは、同じ条件下で有意なマージンを持つ既存のベースラインを一貫して上回る。
さらに, 学習した拡散を先行して検討し, インペイント, デノナイジング, デブロワーリングなど, 下流の画像処理タスクにおける優れた性能を観察した。
関連論文リスト
- Learning Diffusion Model from Noisy Measurement using Principled Expectation-Maximization Method [9.173055778539641]
本稿では,任意の破損型を持つ雑音データから拡散モデルを反復的に学習する,原則的予測最大化(EM)フレームワークを提案する。
筆者らはモンテカルロ法を用いて,ノイズ測定からクリーンな画像を正確に推定し,次いで再構成画像を用いて拡散モデルを訓練した。
論文 参考訳（メタデータ） (2024-10-15T03:54:59Z) - An Expectation-Maximization Algorithm for Training Clean Diffusion Models from Corrupted Observations [21.411327264448058]
本稿では, 予測最大化(EM)手法を提案し, 劣化した観測から拡散モデルを訓練する。
本手法は, 既知拡散モデル(E-step)を用いた劣化データからのクリーン画像の再構成と, これらの再構成(M-step)に基づく拡散モデル重みの精製とを交互に行う。
この反復過程は、学習された拡散モデルを真のクリーンなデータ分布に徐々に収束させる。
論文 参考訳（メタデータ） (2024-07-01T07:00:17Z) - Lossy Image Compression with Foundation Diffusion Models [10.407650300093923]
本研究は,拡散を用いた量子化誤差の除去をデノナイジングタスクとして定式化し,送信された遅延画像の損失情報を復元する。
当社のアプローチでは,完全な拡散生成プロセスの10%未満の実行が可能であり,拡散モデルにアーキテクチャ的な変更は不要である。
論文 参考訳（メタデータ） (2024-04-12T16:23:42Z) - Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散
本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-20T14:22:12Z) - Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。
拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。
本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-02-16T16:47:21Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳（メタデータ） (2023-09-30T02:03:22Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T03:08:28Z) - GSURE-Based Diffusion Model Training with Corrupted Data [35.56267114494076]
本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。
顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
論文 参考訳（メタデータ） (2023-05-22T15:27:20Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2023-05-22T12:18:20Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳（メタデータ） (2022-06-10T15:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。