論文の概要: Boosting Image Restoration via Priors from Pre-trained Models
- arxiv url: http://arxiv.org/abs/2403.06793v1
- Date: Mon, 11 Mar 2024 15:11:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 18:45:02.065228
- Title: Boosting Image Restoration via Priors from Pre-trained Models
- Title(参考訳): 事前訓練モデルによる画像復元の促進
- Authors: Xiaogang Xu, Shu Kong, Tao Hu, Zhe Liu, Hujun Bao
- Abstract要約: 我々は、OSFによるターゲット復元ネットワークの復元結果を改善するために、Pre-Train-Guided Refinement Module (PTG-RM)と呼ばれる軽量モジュールを学習する。
PTG-RMは、低照度強化、デラリニング、デブロアリング、デノナイジングなど、様々なタスクにおける様々なモデルの復元性能を効果的に向上させる。
- 参考スコア(独自算出の注目度): 58.833880779871265
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained models with large-scale training data, such as CLIP and Stable
Diffusion, have demonstrated remarkable performance in various high-level
computer vision tasks such as image understanding and generation from language
descriptions. Yet, their potential for low-level tasks such as image
restoration remains relatively unexplored. In this paper, we explore such
models to enhance image restoration. As off-the-shelf features (OSF) from
pre-trained models do not directly serve image restoration, we propose to learn
an additional lightweight module called Pre-Train-Guided Refinement Module
(PTG-RM) to refine restoration results of a target restoration network with
OSF. PTG-RM consists of two components, Pre-Train-Guided Spatial-Varying
Enhancement (PTG-SVE), and Pre-Train-Guided Channel-Spatial Attention
(PTG-CSA). PTG-SVE enables optimal short- and long-range neural operations,
while PTG-CSA enhances spatial-channel attention for restoration-related
learning. Extensive experiments demonstrate that PTG-RM, with its compact size
($<$1M parameters), effectively enhances restoration performance of various
models across different tasks, including low-light enhancement, deraining,
deblurring, and denoising.
- Abstract(参考訳): CLIPやStable Diffusionのような大規模トレーニングデータを持つ事前学習モデルは、画像理解や言語記述からの生成など、様々なハイレベルなコンピュータビジョンタスクにおいて顕著な性能を示している。
しかし、画像復元のような低レベルのタスクへの可能性は比較的未解明のままである。
本稿では,画像復元のためのモデルについて検討する。
既訓練モデルからのオフ・ザ・シェルフ機能(OSF)は直接画像復元に役立たないため,OSFを用いたターゲット復元ネットワークの復元結果を改善するために,Pre-Train-Guided Refinement Module (PTG-RM)と呼ばれる軽量モジュールを学習することを提案する。
PTG-RMは、PTG-SVE(Pre-Train-Guided Space-Varying Enhancement)とPTG-CSA(Pre-Train-Guided Channel-Spatial Attention)の2つのコンポーネントから構成される。
PTG-SVEは最適な短距離および長距離神経操作を可能にし、PTG-CSAは修復関連学習のための空間チャネルの注意を高める。
PTG-RMの小型化($1M)は, 低照度向上, デラライニング, 脱臭, 脱臭など, 各種モデルの復元性能を効果的に向上することを示した。
関連論文リスト
- Lightweight Adaptive Feature De-drifting for Compressed Image
Classification [10.265991649449507]
高品質な画像で訓練された高レベルの視覚モデルは、圧縮された画像を扱う際に性能劣化に悩まされる。
ビジュアルアーティファクトを扱うために、さまざまな学習ベースのJPEGアーティファクト除去手法が提案されている。
本稿では,プレトレーニング済み画像分類モデルの性能向上を図るために,新しい軽量AFDモジュールを提案する。
論文 参考訳(メタデータ) (2024-01-03T13:03:44Z) - AdaptIR: Parameter Efficient Multi-task Adaptation for Pre-trained Image
Restoration Models [58.10797482129863]
本稿では,事前学習した復元モデルに適応するためのパラメータ効率の良い移動学習手法であるAdaptIRを提案する。
実験により,提案手法は0.6%しか使用せず,完全微調整よりも同等あるいはさらに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-12T14:27:59Z) - HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。
本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。
我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-09-11T05:17:55Z) - DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [73.8274638090392]
本稿では,事前訓練したテキスト・画像拡散モデルを利用したブラインド画像復元問題に対するDiffBIRを提案する。
本稿では, インジェクティブ変調サブネットワーク -- LAControlNet を微調整用として導入し, 事前学習した安定拡散はその生成能力を維持することを目的としている。
実験では、ブラインド画像の超解像とブラインド顔復元の両タスクにおいて、最先端のアプローチよりも優れていることを示した。
論文 参考訳(メタデータ) (2023-08-29T07:11:52Z) - Towards Vision Transformer Unrolling Fixed-Point Algorithm: a Case Study
on Image Restoration [21.79667520132755]
本稿では、FPをアンロールし、FPformerと呼ばれるTransformerブロックを介して各アンロールされたプロセスを近似するフレームワークを提案する。
トランスフォーマーの能力をフル活用するために,自己教師付き事前学習と教師付き微調整を用いて,提案手法を画像復元に適用する。
FPformer、FPRformer、FPAformerは、自己教師付き事前学習と教師付き微調整を用いて、最先端の画像復元法と競争性能と訓練効率の向上を実現している。
論文 参考訳(メタデータ) (2023-01-29T02:59:14Z) - REPNP: Plug-and-Play with Deep Reinforcement Learning Prior for Robust
Image Restoration [30.966005373669027]
本稿では、RePNPと呼ばれる新しい深層強化学習(DRL)フレームワークを提案する。
その結果,提案したRePNPは観測モデルに対して頑健であることがわかった。
RePNPと呼ばれるスキーム。
RePNPはモデルパラメータの少ないモデル偏差に基づくより良い結果を得る。
論文 参考訳(メタデータ) (2022-07-25T10:56:10Z) - Pre-Trained Image Processing Transformer [95.93031793337613]
我々は、新しい事前学習モデル、すなわち、画像処理変換器(IPT)を開発する。
本稿では、よく知られたImageNetベンチマークを用いて、大量の画像ペアを生成する。
IPTモデルは、これらの画像をマルチヘッドとマルチテールでトレーニングする。
論文 参考訳(メタデータ) (2020-12-01T09:42:46Z) - Structure-Preserving Super Resolution with Gradient Guidance [87.79271975960764]
単一画像超解像(SISR)の構造
最近のGAN(Generative Adversarial Network)による研究は、SISRの開発を促進している。
しかし、復元された画像には常に望ましくない構造歪みがある。
論文 参考訳(メタデータ) (2020-03-29T17:26:58Z) - Blind Image Restoration without Prior Knowledge [0.22940141855172028]
本稿では, 自己Normalization Side-Chain (SCNC) について述べる。
SCNCは既存のCNNトポロジに追加することができ、ネットワークの他の部分とエンドツーエンドでトレーニングされる。
論文 参考訳(メタデータ) (2020-03-03T19:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。