論文の概要: HAIR: Hypernetworks-based All-in-One Image Restoration

• arxiv url: http://arxiv.org/abs/2408.08091v1
• Date: Thu, 15 Aug 2024 11:34:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-16 14:05:59.309123
• Title: HAIR: Hypernetworks-based All-in-One Image Restoration
• Title（参考訳）: HAIR:Hypernetworksベースのオールインワン画像復元
• Authors: Jin Cao, Yi Cao, Li Pang, Deyu Meng, Xiangyong Cao,
• Abstract要約: HairはHypernetworksベースのプラグイン・アンド・プレイ方式で、対応するネットワークのパラメータを動的に生成する。 実験により,HAIRをアーキテクチャに組み込むことで,画像復元作業における各種モデルの性能が大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 46.681872835394095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image restoration involves recovering a high-quality clean image from its degraded version, which is a fundamental task in computer vision. Recent progress in image restoration has demonstrated the effectiveness of learning models capable of addressing various degradations simultaneously, i.e., the All-in-One image restoration models. However, these existing methods typically utilize the same parameters facing images with different degradation types, which causes the model to be forced to trade off between degradation types, therefore impair the total performance. To solve this problem, we propose HAIR, a Hypernetworks-based plug-in-and-play method that dynamically generated parameters for the corresponding networks based on the contents of input images. HAIR consists of 2 main components: Classifier (Cl) and Hyper Selecting Net (HSN). To be more specific, the Classifier is a simple image classification network which is used to generate a Global Information Vector (GIV) that contains the degradation information of the input image; And the HSNs can be seen as a simple Fully-connected Neural Network that receive the GIV and output parameters for the corresponding modules. Extensive experiments shows that incorporating HAIR into the architectures can significantly improve the performance of different models on image restoration tasks at a low cost, \textbf{although HAIR only generate parameters and haven't change these models' logical structures at all.} With incorporating HAIR into the popular architecture Restormer, our method obtains superior or at least comparable performance to current state-of-the-art methods on a range of image restoration tasks. \href{https://github.com/toummHus/HAIR}{\textcolor{blue}{$\underline{\textbf{Code and pre-trained checkpoints are available here.}}$}}
• Abstract（参考訳）: 画像復元には、コンピュータビジョンの基本課題である劣化したバージョンから高品質なクリーンなイメージを復元することが含まれる。 画像復元の最近の進歩は、様々な劣化に同時に対処できる学習モデル、すなわちオールインワン画像復元モデルの有効性を実証している。 しかしながら、これらの既存手法は一般的に、異なる劣化型を持つ画像に対して同じパラメータを使用するため、モデルが劣化型間でのトレードオフを余儀なくされるため、全体的なパフォーマンスが損なわれる。 この問題を解決するために,Hypernetworksベースのプラグイン・アンド・プレイ方式であるHAIRを提案し,入力画像の内容に基づいて,対応するネットワークのパラメータを動的に生成する。 HAIRは、分類器(Cl)とHyper Selecting Net(HSN)の2つの主要コンポーネントで構成されている。 より具体的に言うと、分類器は、入力画像の劣化情報を含むGIV(Global Information Vector)を生成するために使用される単純な画像分類網であり、HSNは、GIVを受け取り、対応するモジュールの出力パラメータを出力する単純なフル接続ニューラルネットワークと見なすことができる。 大規模な実験では、HAIRをアーキテクチャに組み込むことで、画像復元タスクにおけるさまざまなモデルの性能を低コストで大幅に向上させることができることが示されている。 提案手法は,HAIRを一般的なアーキテクチャRestormerに組み込むことで,画像復元タスクにおける現在の最先端手法よりも優れた,あるいは少なくとも同等のパフォーマンスが得られる。 href{https://github.com/toummHus/HAIR}{\textcolor{blue}{$\underline{\textbf{Code and pre-trained checkpointsはここで利用できる。 }}$}}

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
  本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。 We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。 提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
  論文  参考訳（メタデータ） (2024-01-24T04:25:12Z)
• Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
  画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-12-12T14:27:59Z)
• Prompt-based Ingredient-Oriented All-in-One Image Restoration [0.0]
  複数の画像劣化課題に対処する新しいデータ成分指向手法を提案する。 具体的には、エンコーダを用いて特徴をキャプチャし、デコーダを誘導するための劣化情報を含むプロンプトを導入する。 我々の手法は最先端技術と競争的に機能する。
  論文  参考訳（メタデータ） (2023-09-06T15:05:04Z)
• DRM-IR: Task-Adaptive Deep Unfolding Network for All-In-One Image Restoration [5.573836220587265]
  本研究は,効率的な動的参照モデリングパラダイム(DRM-IR)を提案する。 DRM-IRはタスク適応型劣化モデリングとモデルベースの画像復元で構成されている。 複数のベンチマークデータセットの実験は、DRM-IRがAll-In-One IRで最先端のIRを達成することを示している。
  論文  参考訳（メタデータ） (2023-07-15T02:42:19Z)
• LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond [75.37541439447314]
  単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。 本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
  論文  参考訳（メタデータ） (2021-05-21T15:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。