論文の概要: HAIR: Hypernetworks-based All-in-One Image Restoration

• arxiv url: http://arxiv.org/abs/2408.08091v4
• Date: Mon, 18 Nov 2024 09:40:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:33:46.769552
• Title: HAIR: Hypernetworks-based All-in-One Image Restoration
• Title（参考訳）: HAIR:Hypernetworksベースのオールインワン画像復元
• Authors: Jin Cao, Yi Cao, Li Pang, Deyu Meng, Xiangyong Cao,
• Abstract要約: HairはHypernetworksベースのオールインワンイメージ復元プラグイン・アンド・プレイ方式である。 入力画像に基づいてパラメータを生成し、モデルを動的に特定の劣化に適応させる。 シングルタスクとオールインワンの設定の両方において、既存の画像復元モデルの性能をプラグアンドプレイで大幅に向上させることができる。
• 参考スコア（独自算出の注目度）: 46.681872835394095
• License:
• Abstract: Image restoration aims to recover a high-quality clean image from its degraded version. Recent progress in image restoration has demonstrated the effectiveness of All-in-One image restoration models in addressing various unknown degradations simultaneously. However, these existing methods typically utilize the same parameters to tackle images with different types of degradation, forcing the model to balance the performance between different tasks and limiting its performance on each task. To alleviate this issue, we propose HAIR, a Hypernetworks-based All-in-One Image Restoration plug-and-play method that generates parameters based on the input image and thus makes the model to adapt to specific degradation dynamically. Specifically, HAIR consists of two main components, i.e., Classifier and Hyper Selecting Net (HSN). The Classifier is a simple image classification network used to generate a Global Information Vector (GIV) that contains the degradation information of the input image, and the HSN is a simple fully-connected neural network that receives the GIV and outputs parameters for the corresponding modules. Extensive experiments demonstrate that HAIR can significantly improve the performance of existing image restoration models in a plug-and-play manner, both in single-task and All-in-One settings. Notably, our proposed model Res-HAIR, which integrates HAIR into the well-known Restormer, can obtain superior or comparable performance compared with current state-of-the-art methods. Moreover, we theoretically demonstrate that to achieve a given small enough error, our proposed HAIR requires fewer parameters in contrast to mainstream embedding-based All-in-One methods. The code is available at https://github.com/toummHus/HAIR.
• Abstract（参考訳）: 画像復元は、劣化した画像から高品質なクリーンなイメージを復元することを目的としている。 画像復元の最近の進歩は、様々な未知の劣化に同時に対処するオールインワン画像復元モデルの有効性を示した。 しかし、これらの既存手法は一般的に同じパラメータを使って、異なるタイプの劣化を伴う画像に対処し、モデルに異なるタスク間のパフォーマンスのバランスをとらせ、各タスクのパフォーマンスを制限させる。 この問題を軽減するために,ハイパーネットワークスをベースとしたオールインワン画像復元プラグアンドプレイ方式であるHAIRを提案する。 具体的には、HAIRは2つの主要コンポーネント、すなわち、分類器とHyper Selecting Net(HSN)から構成される。 分類器は、入力画像の劣化情報を含むGIV(Global Information Vector)を生成するための単純な画像分類網であり、HSNはGIVを受け取り、対応するモジュールのパラメータを出力する単純な完全接続ニューラルネットワークである。 大規模な実験により、HAIRは、単一タスクとオールインワンの設定の両方において、既存の画像復元モデルの性能をプラグアンドプレイで大幅に改善できることが示された。 特に,HAIRをよく知られたRestormerに統合したモデルであるRes-HAIRは,現在の最先端手法と比較して,優れた,あるいは同等のパフォーマンスが得られる。 さらに,提案したHAIRは,与えられた誤差を十分小さくするために,主流の埋め込み方式であるAll-in-One法と対照的に,パラメータが少ないことを理論的に証明する。 コードはhttps://github.com/toummHus/HAIR.orgで公開されている。

関連論文リスト

• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• HIR-Diff: Unsupervised Hyperspectral Image Restoration Via Improved Diffusion Models [38.74983301496911]
  ハイパースペクトル画像(HSI)の復元は、劣化した観察からクリーンなイメージを復元することを目的としている。 既存のモデルに基づく手法は、複雑な画像の特徴を正確にモデル化するのに限界がある。 本稿では,事前学習拡散モデル(HIR-Diff)を用いた教師なしHSI復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-24T17:15:05Z)
• Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
  本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。 We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。 提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
  論文  参考訳（メタデータ） (2024-01-24T04:25:12Z)
• Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
  画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-12-12T14:27:59Z)
• HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
  トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。 本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。 我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-09-11T05:17:55Z)
• Prompt-based Ingredient-Oriented All-in-One Image Restoration [0.0]
  複数の画像劣化課題に対処する新しいデータ成分指向手法を提案する。 具体的には、エンコーダを用いて特徴をキャプチャし、デコーダを誘導するための劣化情報を含むプロンプトを導入する。 我々の手法は最先端技術と競争的に機能する。
  論文  参考訳（メタデータ） (2023-09-06T15:05:04Z)
• DRM-IR: Task-Adaptive Deep Unfolding Network for All-In-One Image Restoration [5.573836220587265]
  本研究は,効率的な動的参照モデリングパラダイム(DRM-IR)を提案する。 DRM-IRはタスク適応型劣化モデリングとモデルベースの画像復元で構成されている。 複数のベンチマークデータセットの実験は、DRM-IRがAll-In-One IRで最先端のIRを達成することを示している。
  論文  参考訳（メタデータ） (2023-07-15T02:42:19Z)
• LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond [75.37541439447314]
  単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。 本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
  論文  参考訳（メタデータ） (2021-05-21T15:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。