論文の概要: Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2312.08881v2
• Date: Sat, 19 Oct 2024 03:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:12:24.041536
• Title: Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts
• Title（参考訳）: 不均一混合実験による画像復元のためのパラメータ適応
• Authors: Hang Guo, Tao Dai, Yuanchao Bai, Bin Chen, Xudong Ren, Zexuan Zhu, Shu-Tao Xia,
• Abstract要約: 画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
• 参考スコア（独自算出の注目度）: 52.39959535724677
• License:
• Abstract: Designing single-task image restoration models for specific degradation has seen great success in recent years. To achieve generalized image restoration, all-in-one methods have recently been proposed and shown potential for multiple restoration tasks using one single model. Despite the promising results, the existing all-in-one paradigm still suffers from high computational costs as well as limited generalization on unseen degradations. In this work, we introduce an alternative solution to improve the generalization of image restoration models. Drawing inspiration from recent advancements in Parameter Efficient Transfer Learning (PETL), we aim to tune only a small number of parameters to adapt pre-trained restoration models to various tasks. However, current PETL methods fail to generalize across varied restoration tasks due to their homogeneous representation nature. To this end, we propose AdaptIR, a Mixture-of-Experts (MoE) with orthogonal multi-branch design to capture local spatial, global spatial, and channel representation bases, followed by adaptive base combination to obtain heterogeneous representation for different degradations. Extensive experiments demonstrate that our AdaptIR achieves stable performance on single-degradation tasks, and excels in hybrid-degradation tasks, with fine-tuning only 0.6% parameters for 8 hours.
• Abstract（参考訳）: 特定の劣化に対する単一タスク画像復元モデルの設計は近年大きな成功を収めている。 一般化された画像復元を実現するために、最近オールインワン手法が提案され、1つの単一モデルを用いて複数の復元作業を行う可能性が示された。 有望な結果にもかかわらず、既存のオールインワンパラダイムは依然として高い計算コストと、目に見えない劣化の限定的な一般化に悩まされている。 本研究では,画像復元モデルの一般化を改善するための代替手法を提案する。 近年のPETL(パラメータ効率変換学習)の進歩からインスピレーションを得て,事前学習した復元モデルを様々なタスクに適応させるために,少数のパラメータのみをチューニングすることを目指している。 しかし、現在のPETL法は、その均質な表現性のため、様々な復元タスクにまたがる一般化に失敗する。 そこで本研究では, 局所空間, グローバル空間, チャネル表現ベースを捉えるために, 直交多重ブランチを設計したMixture-of-Experts (MoE) のAdaptIRを提案する。 大規模な実験により、我々のAdaptIRは、単一劣化タスクにおいて安定した性能を達成し、ハイブリット劣化タスクにおいて優れた性能を示し、微調整は8時間でわずか0.6%のパラメータしか持たない。

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  これは、モデルを一連の劣化ベースでトレーニングし、これらのベースがゼロショットで構成できる可能性のある劣化を除去する、新しいタスク設定である。 段階的に問題に対処するLLMに着想を得たCoR(Chain-of-Thought)を提案する。 CoRは、未知の複合劣化を段階的に除去するようモデルに指示する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Taming Generative Diffusion Prior for Universal Blind Image Restoration [4.106012295148947]
  BIR-Dはマルチ誘導ブラインド画像復元を実現することができる。 また、複数の複雑な分解を行うイメージを復元し、実用的な応用を実証することができる。
  論文  参考訳（メタデータ） (2024-08-21T02:19:54Z)
• HAIR: Hypernetworks-based All-in-One Image Restoration [46.681872835394095]
  HairはHypernetworksベースのオールインワンイメージ復元プラグイン・アンド・プレイ方式である。 入力画像に基づいてパラメータを生成し、モデルを動的に特定の劣化に適応させる。 シングルタスクとオールインワンの設定の両方において、既存の画像復元モデルの性能をプラグアンドプレイで大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-08-15T11:34:33Z)
• Any Image Restoration with Efficient Automatic Degradation Adaptation [132.81912195537433]
  本研究は, 各種劣化の相似性を有効かつ包括的修復に活用し, 共同埋設を実現する統一的な方法を提案する。 我々のネットワークは、モデルの複雑さをトレーニング可能なパラメータで約82%、FLOPで約85%削減しつつ、新しいSOTAレコードを設定している。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• One Size Fits All: Hypernetwork for Tunable Image Restoration [5.33024001730262]
  我々は,複数のモデルの精度を向上し,異なるレベルの劣化に最適化した,可変画像復元のための新しい手法を提案する。 我々のモデルは、一定数のパラメータと様々な画像復元タスクで必要に応じて、最小限の劣化レベルを復元するように最適化することができる。
  論文  参考訳（メタデータ） (2022-06-13T08:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。