論文の概要: HAIR: Hypernetworks-based All-in-One Image Restoration
- arxiv url: http://arxiv.org/abs/2408.08091v3
- Date: Tue, 15 Oct 2024 10:42:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:58:02.502357
- Title: HAIR: Hypernetworks-based All-in-One Image Restoration
- Title(参考訳): HAIR:Hypernetworksベースのオールインワン画像復元
- Authors: Jin Cao, Yi Cao, Li Pang, Deyu Meng, Xiangyong Cao,
- Abstract要約: HairはHypernetworksベースのオールインワンイメージ復元プラグイン・アンド・プレイ方式である。
入力画像に基づいてパラメータを生成し、モデルを動的に特定の劣化に適応させる。
シングルタスクとオールインワンの設定の両方において、既存の画像復元モデルの性能をプラグアンドプレイで大幅に向上させることができる。
- 参考スコア(独自算出の注目度): 46.681872835394095
- License:
- Abstract: Image restoration aims to recover a high-quality clean image from its degraded version. Recent progress in image restoration has demonstrated the effectiveness of All-in-One image restoration models in addressing various unknown degradations simultaneously. However, these existing methods typically utilize the same parameters to tackle images with different types of degradation, forcing the model to balance the performance between different tasks and limiting its performance on each task. To alleviate this issue, we propose HAIR, a Hypernetworks-based All-in-One Image Restoration plug-and-play method that generates parameters based on the input image and thus makes the model to adapt to specific degradation dynamically. Specifically, HAIR consists of two main components, i.e., Classifier and Hyper Selecting Net (HSN). The Classifier is a simple image classification network used to generate a Global Information Vector (GIV) that contains the degradation information of the input image, and the HSN is a simple fully-connected neural network that receives the GIV and outputs parameters for the corresponding modules. Extensive experiments demonstrate that HAIR can significantly improve the performance of existing image restoration models in a plug-and-play manner, both in single-task and All-in-One settings. Notably, our proposed model Res-HAIR, which integrates HAIR into the well-known Restormer, can obtain superior or comparable performance compared with current state-of-the-art methods. Moreover, we theoretically demonstrate that to achieve a given small enough error, our proposed HAIR requires fewer parameters in contrast to mainstream embedding-based All-in-One methods. The code is available at https://github.com/toummHus/HAIR.
- Abstract(参考訳): 画像復元は、劣化した画像から高品質なクリーンなイメージを復元することを目的としている。
画像復元の最近の進歩は、様々な未知の劣化に同時に対処するオールインワン画像復元モデルの有効性を示した。
しかし、これらの既存手法は一般的に同じパラメータを使って、異なるタイプの劣化を伴う画像に対処し、モデルに異なるタスク間のパフォーマンスのバランスをとらせ、各タスクのパフォーマンスを制限させる。
この問題を軽減するために,ハイパーネットワークスをベースとしたオールインワン画像復元プラグアンドプレイ方式であるHAIRを提案する。
具体的には、HAIRは2つの主要コンポーネント、すなわち、分類器とHyper Selecting Net(HSN)から構成される。
分類器は、入力画像の劣化情報を含むGIV(Global Information Vector)を生成するための単純な画像分類網であり、HSNはGIVを受け取り、対応するモジュールのパラメータを出力する単純な完全接続ニューラルネットワークである。
大規模な実験により、HAIRは、単一タスクとオールインワンの設定の両方において、既存の画像復元モデルの性能をプラグアンドプレイで大幅に改善できることが示された。
特に,HAIRをよく知られたRestormerに統合したモデルであるRes-HAIRは,現在の最先端手法と比較して,優れた,あるいは同等のパフォーマンスが得られる。
さらに,提案したHAIRは,与えられた誤差を十分小さくするために,主流の埋め込み方式であるAll-in-One法と対照的に,パラメータが少ないことを理論的に証明する。
コードはhttps://github.com/toummHus/HAIR.orgで公開されている。
関連論文リスト
- A Heterogeneous Dynamic Convolutional Neural Network for Image
Super-resolution [111.97970576223622]
画像超解像(HDSRNet)における異種動的畳み込みネットワークを提案する。
下位のネットワークは対称アーキテクチャを使用して、異なるレイヤの関係を強化し、より構造的な情報をマイニングする。
実験結果から,HDSRNetは画像解決に有効であることが示唆された。
論文 参考訳(メタデータ) (2024-02-24T03:44:06Z) - InstructIR: High-Quality Image Restoration Following Human Instructions [61.1546287323136]
本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。
InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
論文 参考訳(メタデータ) (2024-01-29T18:53:33Z) - HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。
本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。
我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-09-11T05:17:55Z) - Prompt-based Ingredient-Oriented All-in-One Image Restoration [0.0]
複数の画像劣化課題に対処する新しいデータ成分指向手法を提案する。
具体的には、エンコーダを用いて特徴をキャプチャし、デコーダを誘導するための劣化情報を含むプロンプトを導入する。
我々の手法は最先端技術と競争的に機能する。
論文 参考訳(メタデータ) (2023-09-06T15:05:04Z) - All-in-one Multi-degradation Image Restoration Network via Hierarchical
Degradation Representation [47.00239809958627]
我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。
AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。
この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
論文 参考訳(メタデータ) (2023-08-06T04:51:41Z) - WavePaint: Resource-efficient Token-mixer for Self-supervised Inpainting [2.3014300466616078]
本稿では、計算効率の良いWaveMixベースの完全畳み込みアーキテクチャであるWavePaintを用いて、視覚変換器から分岐する。
2次元離散ウェーブレット変換(DWT)を用いて、畳み込み層とともに、空間的および多重解像度のトークン混合を行う。
我々のモデルは、CelebA-HQデータセットの現在のGANアーキテクチャよりも優れている。
論文 参考訳(メタデータ) (2023-07-01T18:41:34Z) - PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。
本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。
PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
論文 参考訳(メタデータ) (2023-06-22T17:59:52Z) - Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。
トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。
我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
論文 参考訳(メタデータ) (2021-11-18T18:59:10Z) - Deep Amended Gradient Descent for Efficient Spectral Reconstruction from
Single RGB Images [42.26124628784883]
本稿では、AGD-Netという、コンパクトで効率的でエンドツーエンドの学習ベースのフレームワークを提案する。
まず、古典的勾配降下アルゴリズムに基づいて問題を明示的に定式化する。
AGD-Netは、平均1.0dB以上のリコンストラクション品質を向上させることができる。
論文 参考訳(メタデータ) (2021-08-12T05:54:09Z) - Learning degraded image classification with restoration data fidelity [0.0]
広く使用されている4つの分類ネットワークにおける分解型およびレベルの影響について検討する。
本稿では,事前学習したネットワークで得られた画像特徴を忠実度マップを用いて校正する手法を提案する。
その結果,提案手法は画像劣化による影響を緩和する有望な解であることがわかった。
論文 参考訳(メタデータ) (2021-01-23T23:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。