論文の概要: A Unified Conditional Framework for Diffusion-based Image Restoration

• arxiv url: http://arxiv.org/abs/2305.20049v1
• Date: Wed, 31 May 2023 17:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 15:06:19.093093
• Title: A Unified Conditional Framework for Diffusion-based Image Restoration
• Title（参考訳）: 拡散に基づく画像復元のための統一条件枠組み
• Authors: Yi Zhang, Xiaoyu Shi, Dasong Li, Xiaogang Wang, Jian Wang, Hongsheng Li
• Abstract要約: 画像復元のための拡散モデルに基づく統一条件付きフレームワークを提案する。 我々は、軽量なUNetを利用して初期ガイダンスと拡散モデルを予測し、指導の残余を学習する。 そこで本研究では,高解像度画像を扱うために,単純なステップ間パッチ分割方式を提案する。
• 参考スコア（独自算出の注目度）: 39.418415473235235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Probabilistic Models (DPMs) have recently shown remarkable performance in image generation tasks, which are capable of generating highly realistic images. When adopting DPMs for image restoration tasks, the crucial aspect lies in how to integrate the conditional information to guide the DPMs to generate accurate and natural output, which has been largely overlooked in existing works. In this paper, we present a unified conditional framework based on diffusion models for image restoration. We leverage a lightweight UNet to predict initial guidance and the diffusion model to learn the residual of the guidance. By carefully designing the basic module and integration module for the diffusion model block, we integrate the guidance and other auxiliary conditional information into every block of the diffusion model to achieve spatially-adaptive generation conditioning. To handle high-resolution images, we propose a simple yet effective inter-step patch-splitting strategy to produce arbitrary-resolution images without grid artifacts. We evaluate our conditional framework on three challenging tasks: extreme low-light denoising, deblurring, and JPEG restoration, demonstrating its significant improvements in perceptual quality and the generalization to restoration tasks.
• Abstract（参考訳）: 拡散確率モデル (DPM) は, 画像生成タスクにおいて, 非常にリアルな画像を生成することができる顕著な性能を示した。 画像復元タスクにDPMを採用する場合、重要な側面は、DPMが正確な自然出力を生成するための条件情報を統合する方法である。 本稿では,画像復元のための拡散モデルに基づく統一条件付きフレームワークを提案する。 我々は、軽量なUNetを利用して初期ガイダンスと拡散モデルを予測し、指導の残余を学習する。 拡散モデルブロックの基本モジュールと積分モジュールを慎重に設計することにより、拡散モデルの各ブロックに誘導やその他の補助条件情報を統合し、空間適応型生成条件を実現する。 高分解能画像を扱うために,グリッドアーティファクトを使わずに任意の解像度画像を生成するための,簡易かつ効果的なステップ間パッチ分割戦略を提案する。 我々は, 極低照度, 消臭, JPEG復元の3つの課題に対する条件付き枠組みの評価を行い, 知覚品質の大幅な向上と回復作業の一般化を実証した。

関連論文リスト

• One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
  極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。 OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
  本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。 具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。 提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T21:14:02Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。