論文の概要: Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2312.08881v2
• Date: Sat, 19 Oct 2024 03:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:12:24.041536
• Title: Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts
• Title（参考訳）: 不均一混合実験による画像復元のためのパラメータ適応
• Authors: Hang Guo, Tao Dai, Yuanchao Bai, Bin Chen, Xudong Ren, Zexuan Zhu, Shu-Tao Xia,
• Abstract要約: 画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
• 参考スコア（独自算出の注目度）: 52.39959535724677
• License:
• Abstract: Designing single-task image restoration models for specific degradation has seen great success in recent years. To achieve generalized image restoration, all-in-one methods have recently been proposed and shown potential for multiple restoration tasks using one single model. Despite the promising results, the existing all-in-one paradigm still suffers from high computational costs as well as limited generalization on unseen degradations. In this work, we introduce an alternative solution to improve the generalization of image restoration models. Drawing inspiration from recent advancements in Parameter Efficient Transfer Learning (PETL), we aim to tune only a small number of parameters to adapt pre-trained restoration models to various tasks. However, current PETL methods fail to generalize across varied restoration tasks due to their homogeneous representation nature. To this end, we propose AdaptIR, a Mixture-of-Experts (MoE) with orthogonal multi-branch design to capture local spatial, global spatial, and channel representation bases, followed by adaptive base combination to obtain heterogeneous representation for different degradations. Extensive experiments demonstrate that our AdaptIR achieves stable performance on single-degradation tasks, and excels in hybrid-degradation tasks, with fine-tuning only 0.6% parameters for 8 hours.
• Abstract（参考訳）: 特定の劣化に対する単一タスク画像復元モデルの設計は近年大きな成功を収めている。 一般化された画像復元を実現するために、最近オールインワン手法が提案され、1つの単一モデルを用いて複数の復元作業を行う可能性が示された。 有望な結果にもかかわらず、既存のオールインワンパラダイムは依然として高い計算コストと、目に見えない劣化の限定的な一般化に悩まされている。 本研究では,画像復元モデルの一般化を改善するための代替手法を提案する。 近年のPETL(パラメータ効率変換学習)の進歩からインスピレーションを得て,事前学習した復元モデルを様々なタスクに適応させるために,少数のパラメータのみをチューニングすることを目指している。 しかし、現在のPETL法は、その均質な表現性のため、様々な復元タスクにまたがる一般化に失敗する。 そこで本研究では, 局所空間, グローバル空間, チャネル表現ベースを捉えるために, 直交多重ブランチを設計したMixture-of-Experts (MoE) のAdaptIRを提案する。 大規模な実験により、我々のAdaptIRは、単一劣化タスクにおいて安定した性能を達成し、ハイブリット劣化タスクにおいて優れた性能を示し、微調整は8時間でわずか0.6%のパラメータしか持たない。

関連論文リスト

• UniRestorer: Universal Image Restoration via Adaptively Estimating Image Degradation at Proper Granularity [79.90839080916913]
  We present our UniRestorer with improve restoration performance。 具体的には、劣化空間上で階層的クラスタリングを行い、マルチグラニュラリティ・ミックス・オブ・エキスパート(MoE)復元モデルを訓練する。 UniRestorerは、既存の劣化診断法と -aware 法とは対照的に、劣化推定を利用して劣化特定回復の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2024-12-28T14:09:08Z)
• Adaptive Blind All-in-One Image Restoration [15.726917603679716]
  ブラインドオールインワン画像復元モデルは、未知の歪みで劣化した入力から高品質な画像を復元することを目的としている。 これらのモデルでは、トレーニング段階では可能なすべての分解タイプを定義しながら、目に見えない分解に対して限定的な一般化を示す必要がある。 複数の劣化に対処し、目に見えない劣化を一般化し、少数のパラメータをトレーニングすることで、新しい劣化を効果的に組み込むことができる、単純で効果的な適応型ブラインド・イン・ワン復元モデルを提案する。
  論文  参考訳（メタデータ） (2024-11-27T14:58:08Z)
• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Taming Generative Diffusion Prior for Universal Blind Image Restoration [4.106012295148947]
  BIR-Dはマルチ誘導ブラインド画像復元を実現することができる。 また、複数の複雑な分解を行うイメージを復元し、実用的な応用を実証することができる。
  論文  参考訳（メタデータ） (2024-08-21T02:19:54Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• One Size Fits All: Hypernetwork for Tunable Image Restoration [5.33024001730262]
  我々は,複数のモデルの精度を向上し,異なるレベルの劣化に最適化した,可変画像復元のための新しい手法を提案する。 我々のモデルは、一定数のパラメータと様々な画像復元タスクで必要に応じて、最小限の劣化レベルを復元するように最適化することができる。
  論文  参考訳（メタデータ） (2022-06-13T08:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。