論文の概要: AdaptIR: Parameter Efficient Multi-task Adaptation for Pre-trained Image Restoration Models

• arxiv url: http://arxiv.org/abs/2312.08881v1
• Date: Tue, 12 Dec 2023 14:27:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 22:25:03.742122
• Title: AdaptIR: Parameter Efficient Multi-task Adaptation for Pre-trained Image Restoration Models
• Title（参考訳）: AdaptIR:事前学習画像復元モデルのためのパラメータ効率的なマルチタスク適応
• Authors: Hang Guo, Tao Dai, Yuanchao Bai, Bin Chen, Shu-Tao Xia, Zexuan Zhu
• Abstract要約: 本稿では,事前学習した復元モデルに適応するためのパラメータ効率の良い移動学習手法であるAdaptIRを提案する。 実験により,提案手法は0.6%しか使用せず,完全微調整よりも同等あるいはさらに優れた性能が得られることが示された。
• 参考スコア（独自算出の注目度）: 58.10797482129863
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pre-training has shown promising results on various image restoration tasks, which is usually followed by full fine-tuning for each specific downstream task (e.g., image denoising). However, such full fine-tuning usually suffers from the problems of heavy computational cost in practice, due to the massive parameters of pre-trained restoration models, thus limiting its real-world applications. Recently, Parameter Efficient Transfer Learning (PETL) offers an efficient alternative solution to full fine-tuning, yet still faces great challenges for pre-trained image restoration models, due to the diversity of different degradations. To address these issues, we propose AdaptIR, a novel parameter efficient transfer learning method for adapting pre-trained restoration models. Specifically, the proposed method consists of a multi-branch inception structure to orthogonally capture local spatial, global spatial, and channel interactions. In this way, it allows powerful representations under a very low parameter budget. Extensive experiments demonstrate that the proposed method can achieve comparable or even better performance than full fine-tuning, while only using 0.6% parameters. Code is available at https://github.com/csguoh/AdaptIR.
• Abstract（参考訳）: 事前トレーニングは、様々な画像復元タスクで有望な結果を示しており、通常は、特定の下流タスク(例えば、画像デノイジング)ごとに完全な微調整が行われる。 しかし、そのような完全な微調整は通常、事前訓練された修復モデルの膨大なパラメータのため、実際の計算コストの問題に苦しむため、実際の応用は制限される。 近年,パラメータ効率のよい転写学習 (PETL) は完全な微調整に有効な代替手段を提供しているが,劣化の多様性のため,事前学習した画像復元モデルには大きな課題に直面している。 そこで本研究では,事前学習した復元モデルに適応する新しいパラメータ効率の高い転送学習法であるadaptirを提案する。 具体的には,局所的空間的,大域的空間的,チャネル的相互作用を直交的に捉えるマルチブランチインセプション構造からなる。 このように、非常に低いパラメータ予算で強力な表現を可能にする。 広範な実験により,本手法は0.6%のパラメータしか使用せずに,完全な微調整と同等あるいはそれ以上の性能を達成できることが証明された。 コードはhttps://github.com/csguoh/AdaptIRで入手できる。

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  これは、モデルを一連の劣化ベースでトレーニングし、これらのベースがゼロショットで構成できる可能性のある劣化を除去する、新しいタスク設定である。 段階的に問題に対処するLLMに着想を得たCoR(Chain-of-Thought)を提案する。 CoRは、未知の複合劣化を段階的に除去するようモデルに指示する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Taming Generative Diffusion Prior for Universal Blind Image Restoration [4.106012295148947]
  BIR-Dはマルチ誘導ブラインド画像復元を実現することができる。 また、複数の複雑な分解を行うイメージを復元し、実用的な応用を実証することができる。
  論文  参考訳（メタデータ） (2024-08-21T02:19:54Z)
• HAIR: Hypernetworks-based All-in-One Image Restoration [46.681872835394095]
  HairはHypernetworksベースのオールインワンイメージ復元プラグイン・アンド・プレイ方式である。 入力画像に基づいてパラメータを生成し、モデルを動的に特定の劣化に適応させる。 シングルタスクとオールインワンの設定の両方において、既存の画像復元モデルの性能をプラグアンドプレイで大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-08-15T11:34:33Z)
• Any Image Restoration with Efficient Automatic Degradation Adaptation [132.81912195537433]
  本研究は, 各種劣化の相似性を有効かつ包括的修復に活用し, 共同埋設を実現する統一的な方法を提案する。 我々のネットワークは、モデルの複雑さをトレーニング可能なパラメータで約82%、FLOPで約85%削減しつつ、新しいSOTAレコードを設定している。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• One Size Fits All: Hypernetwork for Tunable Image Restoration [5.33024001730262]
  我々は,複数のモデルの精度を向上し,異なるレベルの劣化に最適化した,可変画像復元のための新しい手法を提案する。 我々のモデルは、一定数のパラメータと様々な画像復元タスクで必要に応じて、最小限の劣化レベルを復元するように最適化することができる。
  論文  参考訳（メタデータ） (2022-06-13T08:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。