論文の概要: HAIR: Hypernetworks-based All-in-One Image Restoration

• arxiv url: http://arxiv.org/abs/2408.08091v2
• Date: Wed, 28 Aug 2024 07:51:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 20:18:52.306998
• Title: HAIR: Hypernetworks-based All-in-One Image Restoration
• Title（参考訳）: HAIR:Hypernetworksベースのオールインワン画像復元
• Authors: Jin Cao, Yi Cao, Li Pang, Deyu Meng, Xiangyong Cao,
• Abstract要約: Hair は textbfHypernetworks ベースの textbfAllinOne textbfRestoration メソッドで、動的に入力画像を生成する。 実験により、HAIRは既存の画像復元モデルの性能をプラグアンドプレイで大幅に改善できることが示された。
• 参考スコア（独自算出の注目度）: 46.681872835394095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image restoration aims to recover a high-quality clean image from its degraded version. Recent progress in image restoration has demonstrated the effectiveness of All-in-One image restoration models in addressing various degradations simultaneously. However, these existing methods typically utilize the same parameters to tackle images with different degradation types, thus forcing the model to balance the performance between different tasks and limiting its performance on each task. To alleviate this issue, we propose HAIR, a \textbf{H}ypernetworks-based \textbf{A}ll-in-One \textbf{I}mage \textbf{R}estoration method that dynamically generates parameters based on input images. Specifically, HAIR consists of two main components, i.e., Classifier and Hyper Selecting Net (HSN). The Classifier is a simple image classification network used to generate a Global Information Vector (GIV) that contains the degradation information of the input image, and the HSN is a simple fully-connected neural network that receives the GIV and outputs parameters for the corresponding modules. Extensive experiments demonstrate that HAIR can significantly improve the performance of existing image restoration models in a plug-and-play manner, both in single-task and all-in-one settings. Notably, our innovative model, Res-HAIR, which integrates HAIR into the well-known Restormer, can obtain superior or comparable performance compared with current state-of-the-art methods. Moreover, we theoretically demonstrate that our proposed HAIR requires fewer parameters in contrast to the prevalent All-in-One methodologies. The code is available at \textcolor{blue}{\href{https://github.com/toummHus/HAIR}{https://github.com/toummHus/HAIR}.}
• Abstract（参考訳）: 画像復元は、劣化した画像から高品質なクリーンなイメージを復元することを目的としている。 画像復元の最近の進歩は、様々な劣化に同時に対処するオールインワン画像復元モデルの有効性を実証している。 しかし、これらの既存手法は一般的に同じパラメータを使って異なる劣化型を持つ画像に対処するため、モデルに異なるタスク間のパフォーマンスのバランスと各タスクのパフォーマンスの制限を強制する。 この問題を軽減するために,入力画像に基づいてパラメータを動的に生成するHAIR法を提案する。 具体的には、HAIRは2つの主要コンポーネント、すなわち、分類器とHyper Selecting Net(HSN)から構成される。 分類器は、入力画像の劣化情報を含むGIV(Global Information Vector)を生成するための単純な画像分類網であり、HSNはGIVを受け取り、対応するモジュールのパラメータを出力する単純な完全連結ニューラルネットワークである。 大規模な実験により、HAIRは、単一タスクとオールインワンの設定の両方において、既存の画像復元モデルの性能をプラグアンドプレイで大幅に改善できることが示された。 特に、我々の革新的なモデルであるRes-HAIRは、HAIRをよく知られたRestormerに統合し、現在の最先端の手法と比較して、優れた、あるいは同等のパフォーマンスを得ることができる。 さらに,提案するHAIRでは,有意なAll-in-One手法とは対照的に,パラメータが少ないことが理論的に証明された。 コードは、textcolor{blue}{\href{https://github.com/toummHus/HAIR}{https://github.com/toummHus/HAIR}で入手できる。 ※

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
  本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。 We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。 提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
  論文  参考訳（メタデータ） (2024-01-24T04:25:12Z)
• Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
  画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-12-12T14:27:59Z)
• Prompt-based Ingredient-Oriented All-in-One Image Restoration [0.0]
  複数の画像劣化課題に対処する新しいデータ成分指向手法を提案する。 具体的には、エンコーダを用いて特徴をキャプチャし、デコーダを誘導するための劣化情報を含むプロンプトを導入する。 我々の手法は最先端技術と競争的に機能する。
  論文  参考訳（メタデータ） (2023-09-06T15:05:04Z)
• DRM-IR: Task-Adaptive Deep Unfolding Network for All-In-One Image Restoration [5.573836220587265]
  本研究は,効率的な動的参照モデリングパラダイム(DRM-IR)を提案する。 DRM-IRはタスク適応型劣化モデリングとモデルベースの画像復元で構成されている。 複数のベンチマークデータセットの実験は、DRM-IRがAll-In-One IRで最先端のIRを達成することを示している。
  論文  参考訳（メタデータ） (2023-07-15T02:42:19Z)
• LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond [75.37541439447314]
  単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。 本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
  論文  参考訳（メタデータ） (2021-05-21T15:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。