論文の概要: Exploiting Diffusion Priors for All-in-One Image Restoration
- arxiv url: http://arxiv.org/abs/2312.02197v2
- Date: Mon, 25 Dec 2023 14:50:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 21:35:35.381373
- Title: Exploiting Diffusion Priors for All-in-One Image Restoration
- Title(参考訳): オールインワン画像復元のための拡散前処理
- Authors: Yuanbiao Gou and Haiyu Zhao and Boyun Li and Xinyan Xiao and Xi Peng
- Abstract要約: オールインワン画像復元は、画像復元の様々な課題を1つのモデルで解決することを目的としている。
本稿では,事前訓練した拡散モデルにより得られた画像の先行画像を利用することが可能な方法を提案する。
ゼロAIRと呼ばれるオールインワン画像復元のためのゼロショットフレームワークを提案する。
- 参考スコア(独自算出の注目度): 38.56499144874893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: All-in-one aims to solve various tasks of image restoration in a single
model. To this end, we present a feasible way of exploiting the image priors
captured by the pretrained diffusion model, through addressing the two
challenges, i.e., degradation modeling and diffusion guidance. The former aims
to simulate the process of the clean image degenerated by the unknown
degradations, and the latter aims at guiding the diffusion model to generate
the desired clean image. With the motivations, we propose a zero-shot framework
for all-in-one image restoration, termed ZeroAIR, which alternatively performs
the test-time degradation modeling (TDM) and the three-stage diffusion guidance
(TDG) at each timestep of the reverse sampling. To be specific, TDM exploits
the diffusion priors to learn a degradation model from a given degraded image,
and TDG divides the timesteps into three stages for taking full advantages of
the varying diffusion priors. Thanks to their degradation-agnostic property,
all-in-one restoration could be achieved in a zero-shot way. Through extensive
experiments, we show that our ZeroAIR achieves comparable even better
performance than those task-specific methods. The code will be available on
Github.
- Abstract(参考訳): All-in-oneは、画像復元の様々な課題を単一のモデルで解決することを目的としている。
そこで本研究では,事前訓練した拡散モデルにより得られた画像の先行画像を利用して,劣化モデリングと拡散誘導という2つの課題に対処する方法を提案する。
前者は未知の劣化によって生じるクリーン画像の過程をシミュレートすることを目的としており、後者は拡散モデルを導いて所望のクリーン画像を生成することを目的としている。
そこで本研究では,ゼロエアと呼ばれるオールインワン画像復元のためのゼロショットフレームワークを提案し,逆サンプリングの各時間ステップでテスト時間分解モデル (tdm) と3段階拡散誘導 (tdg) を交互に実行する。
具体的には、TDMは、所定の劣化画像から劣化モデルを学ぶために拡散前処理を利用し、TDGは、様々な拡散前処理を最大限に活用するために、時間ステップを3つのステージに分割する。
劣化に依存しない性質により、オールインワンの復元はゼロショットで達成できる。
広範な実験を通して、ZeroAIRはタスク固有のメソッドよりもパフォーマンスが優れていることを示す。
コードはgithubで入手できる。
関連論文リスト
- Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳(メタデータ) (2024-03-11T08:45:31Z) - Generalizing to Out-of-Sample Degradations via Model Reprogramming [29.56470202794348]
アウト・オブ・サンプル修復(OSR)タスクは、アウト・オブ・サンプル劣化を処理可能な復元モデルを開発することを目的としている。
本稿では,量子力学と波動関数によるサンプル外劣化を変換するモデル再プログラミングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-09T11:56:26Z) - An Adaptive Correspondence Scoring Framework for Unsupervised Image
Registration of Medical Images [9.848431202430431]
既存の手法では、画像再構成を主要な監視信号として用いている。
そこで本研究では,学習中の誤り残差を対応スコアマップで再重み付けする適応フレームワークを提案する。
我々のフレームワークは、量的にも質的にも、他の手法よりも一貫して優れています。
論文 参考訳(メタデータ) (2023-12-01T01:11:22Z) - Efficient Test-Time Adaptation for Super-Resolution with Second-Order
Degradation and Reconstruction [62.955327005837475]
画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。
SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
論文 参考訳(メタデータ) (2023-10-29T13:58:57Z) - PGDiff: Guiding Diffusion Models for Versatile Face Restoration via
Partial Guidance [65.5618804029422]
これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。
実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。
提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
論文 参考訳(メタデータ) (2023-09-19T17:51:33Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [55.52743265122446]
ディープオートエンコーダは視覚領域における異常検出のタスクに使われてきた。
我々は、訓練中に識別情報を使用することが可能な自己指導型学習体制を適用することで、この問題に対処する。
MVTec ADデータセットを用いた実験では,高い検出性能と局所化性能を示した。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - Test-time Adaptation with Slot-Centric Models [63.981055778098444]
Slot-TTAは、半教師付きシーン分解モデルであり、シーンごとのテスト時間は、再構成やクロスビュー合成の目的に対する勾配降下を通じて適用される。
我々は、最先端の監視フィードフォワード検出器と代替テスト時間適応法に対して、配電性能が大幅に向上したことを示す。
論文 参考訳(メタデータ) (2022-03-21T17:59:50Z) - Generative and Discriminative Learning for Distorted Image Restoration [22.230017059874445]
Liquifyは、画像の歪みに使用できる画像編集のテクニックである。
本稿では,深層ニューラルネットワークに基づく新しい生成的・識別的学習手法を提案する。
論文 参考訳(メタデータ) (2020-11-11T14:01:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。