論文の概要: Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey

• arxiv url: http://arxiv.org/abs/2308.09388v1
• Date: Fri, 18 Aug 2023 08:40:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 13:45:57.798920
• Title: Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey
• Title（参考訳）: 画像復元・拡張のための拡散モデル -包括的調査-
• Authors: Xin Li, Yulin Ren, Xin Jin, Cuiling Lan, Xingrui Wang, Wenjun Zeng, Xinchao Wang, and Zhibo Chen
• Abstract要約: 本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
• 参考スコア（独自算出の注目度）: 96.99328714941657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image restoration (IR) has been an indispensable and challenging task in the low-level vision field, which strives to improve the subjective quality of images distorted by various forms of degradation. Recently, the diffusion model has achieved significant advancements in the visual generation of AIGC, thereby raising an intuitive question, "whether diffusion model can boost image restoration". To answer this, some pioneering studies attempt to integrate diffusion models into the image restoration task, resulting in superior performances than previous GAN-based methods. Despite that, a comprehensive and enlightening survey on diffusion model-based image restoration remains scarce. In this paper, we are the first to present a comprehensive review of recent diffusion model-based methods on image restoration, encompassing the learning paradigm, conditional strategy, framework design, modeling strategy, and evaluation. Concretely, we first introduce the background of the diffusion model briefly and then present two prevalent workflows that exploit diffusion models in image restoration. Subsequently, we classify and emphasize the innovative designs using diffusion models for both IR and blind/real-world IR, intending to inspire future development. To evaluate existing methods thoroughly, we summarize the commonly-used dataset, implementation details, and evaluation metrics. Additionally, we present the objective comparison for open-sourced methods across three tasks, including image super-resolution, deblurring, and inpainting. Ultimately, informed by the limitations in existing works, we propose five potential and challenging directions for the future research of diffusion model-based IR, including sampling efficiency, model compression, distortion simulation and estimation, distortion invariant learning, and framework design.
• Abstract（参考訳）: 画像復元(IR)は低レベルの視覚領域において必須かつ困難な課題であり、様々な形態の劣化によって歪んだ画像の主観的品質の向上を目指している。 近年,拡散モデルはAIGCの視覚的生成において顕著な進歩を遂げており,「拡散モデルが画像復元を促進することができるかどうか」という直感的な疑問が提起されている。 これに対応するために、いくつかの先駆的な研究は拡散モデルを画像復元タスクに統合しようと試み、その結果、従来のGAN法よりも優れた性能を得た。 それにもかかわらず、拡散モデルに基づく画像復元に関する包括的で啓蒙的な調査は少ない。 本稿では,画像復元に関する最近の拡散モデルに基づく手法について,学習パラダイム,条件戦略,フレームワーク設計,モデリング戦略,評価を包括的に検討する。 具体的には,まず拡散モデルの背景を簡潔に紹介し,次に拡散モデルを利用した画像復元を行う2つのワークフローを提示する。 その後、今後の発展を促すために、赤外線と視覚/現実世界の両方の拡散モデルを用いて革新的なデザインを分類し、強調する。 既存の手法を徹底的に評価するために,広く使用されているデータセット,実装の詳細,評価指標を要約する。 さらに,画像超解像,デブロアリング,インペイントを含む3つのタスクを対象としたオープンソース手法の客観的比較を行った。 最終的に,既存の研究の限界から,サンプリング効率,モデル圧縮,歪みシミュレーションと推定,歪み不変学習,フレームワーク設計など,将来の拡散モデルベースIR研究の潜在的かつ挑戦的な5つの方向性を提案する。

関連論文リスト

• A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
  画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。 従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。 オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-10-19T11:11:09Z)
• Learning Diffusion Model from Noisy Measurement using Principled Expectation-Maximization Method [9.173055778539641]
  本稿では,任意の破損型を持つ雑音データから拡散モデルを反復的に学習する,原則的予測最大化(EM)フレームワークを提案する。 筆者らはモンテカルロ法を用いて,ノイズ測定からクリーンな画像を正確に推定し,次いで再構成画像を用いて拡散モデルを訓練した。
  論文  参考訳（メタデータ） (2024-10-15T03:54:59Z)
• Taming Diffusion Models for Image Restoration: A Review [14.25759541950917]
  拡散モデルは、フォトリアリスティック画像復元のための低レベルコンピュータビジョンに適用されている。 本稿では,拡散モデルにおける鍵となる構成を導入し,拡散モデルを用いた一般的な赤外線課題の解法について検討する。
  論文  参考訳（メタデータ） (2024-09-16T15:04:14Z)
• Diffusion Models in Low-Level Vision: A Survey [82.77962165415153]
  拡散モデルに基づくソリューションは、優れた品質と多様性のサンプルを作成する能力で広く称賛されている。 本稿では,3つの一般化拡散モデリングフレームワークを提案し,それらと他の深層生成モデルとの相関関係について検討する。 医療、リモートセンシング、ビデオシナリオなど、他のタスクに適用された拡張拡散モデルについて要約する。
  論文  参考訳（メタデータ） (2024-06-17T01:49:27Z)
• Model Will Tell: Training Membership Inference for Diffusion Models [15.16244745642374]
  トレーニングメンバーシップ推論(TMI)タスクは、ターゲットモデルのトレーニングプロセスで特定のサンプルが使用されているかどうかを判断することを目的としている。 本稿では,拡散モデル内における本質的な生成先行情報を活用することで,TMIタスクの新たな視点を探求する。
  論文  参考訳（メタデータ） (2024-03-13T12:52:37Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement [118.83316133601319]
  現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。 本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T07:22:51Z)
• Restoration based Generative Models [0.886014926770622]
  デノイング拡散モデル(DDM)は、印象的な合成品質を示すことで注目を集めている。 本稿では、画像復元(IR)の観点からDDMの解釈を確立する。 本稿では,前処理の柔軟性を生かして,拡散過程と比較して性能を向上するマルチスケールトレーニングを提案する。 われわれのフレームワークは、新しいタイプのフレキシブル・ジェネラル・ジェネラル・ジェネレーティブ・モデルの設計の道を開いたと信じている。
  論文  参考訳（メタデータ） (2023-02-20T00:53:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。