論文の概要: LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration

• arxiv url: http://arxiv.org/abs/2410.15385v2
• Date: Sat, 16 Nov 2024 09:02:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:29:08.068332
• Title: LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration
• Title（参考訳）: LoRA-IR:効率的なオールインワン画像復元のためのローランクエキスパートのタッグ
• Authors: Yuang Ai, Huaibo Huang, Ran He,
• Abstract要約: 高速なオールインワン画像復元を実現するために,コンパクトな低ランクの専門家を動的に活用する,フレキシブルなフレームワークであるLoRA-IRを提案する。 LoRA-IRは、劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。 実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。
• 参考スコア（独自算出の注目度）: 62.3751291442432
• License:
• Abstract: Prompt-based all-in-one image restoration (IR) frameworks have achieved remarkable performance by incorporating degradation-specific information into prompt modules. Nevertheless, handling the complex and diverse degradations encountered in real-world scenarios remains a significant challenge. To tackle this, we propose LoRA-IR, a flexible framework that dynamically leverages compact low-rank experts to facilitate efficient all-in-one image restoration. Specifically, LoRA-IR consists of two training stages: degradation-guided pre-training and parameter-efficient fine-tuning. In the pre-training stage, we enhance the pre-trained CLIP model by introducing a simple mechanism that scales it to higher resolutions, allowing us to extract robust degradation representations that adaptively guide the IR network. In the fine-tuning stage, we refine the pre-trained IR network through low-rank adaptation (LoRA). Built upon a Mixture-of-Experts (MoE) architecture, LoRA-IR dynamically integrates multiple low-rank restoration experts through a degradation-guided router. This dynamic integration mechanism significantly enhances our model's adaptability to diverse and unknown degradations in complex real-world scenarios. Extensive experiments demonstrate that LoRA-IR achieves SOTA performance across 14 IR tasks and 29 benchmarks, while maintaining computational efficiency. Code and pre-trained models will be available at: https://github.com/shallowdream204/LoRA-IR.
• Abstract（参考訳）: プロンプトベースのオールインワン画像復元(IR)フレームワークは、分解特異的情報をプロンプトモジュールに組み込むことで、優れたパフォーマンスを実現している。 それでも、現実世界のシナリオで遭遇する複雑で多様な劣化を扱うことは、依然として大きな課題である。 これを解決するために,コンパクトな低ランクの専門家を動的に活用し,オールインワン画像の効率的な復元を容易にする,フレキシブルなフレームワークであるLoRA-IRを提案する。 具体的には、LoRA-IRは劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。 事前学習の段階では、より高解像度にスケールするシンプルなメカニズムを導入し、IRネットワークを適応的に誘導する堅牢な劣化表現を抽出することで、事前訓練されたCLIPモデルを強化する。 微調整の段階では、ローランク適応(LoRA)により事前訓練したIRネットワークを洗練する。 Mixture-of-Experts (MoE)アーキテクチャに基づいて構築されたLoRA-IRは、劣化誘導ルータを通じて複数の低ランク復元専門家を動的に統合する。 この動的統合メカニズムは、複雑な実世界のシナリオにおいて、多様で未知の劣化に対するモデルの適応性を著しく向上させる。 大規模な実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。 コードおよび事前トレーニングされたモデルは、https://github.com/shallowdream204/LoRA-IRで利用可能である。

関連論文リスト

• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• AdaIR: Exploiting Underlying Similarities of Image Restoration Tasks with Adapters [57.62742271140852]
  AdaIRは、パフォーマンスを犠牲にすることなく、低コストで効率的なトレーニングを可能にする新しいフレームワークである。 AdaIRは軽量でタスク固有のモジュールのトレーニングのみを必要とし、より効率的なストレージとトレーニング体制を確保する。
  論文  参考訳（メタデータ） (2024-04-17T15:31:06Z)
• Low-Res Leads the Way: Improving Generalization for Super-Resolution by Self-Supervised Learning [45.13580581290495]
  本研究は,SRモデルの現実の画像への適応性を高めるために,新しい"Low-Res Leads the Way"(LWay)トレーニングフレームワークを導入する。 提案手法では,低分解能(LR)再構成ネットワークを用いて,LR画像から劣化埋め込みを抽出し,LR再構成のための超解出力とマージする。 私たちのトレーニング体制は普遍的に互換性があり、ネットワークアーキテクチャの変更は不要です。
  論文  参考訳（メタデータ） (2024-03-05T02:29:18Z)
• LIR: A Lightweight Baseline for Image Restoration [4.187190284830909]
  画像復元作業の本質的な特徴は、多くの作品で見落とされがちである。 LIRと呼ばれる画像復元のための軽量ベースラインネットワークを提案し、画像の効率よく復元し、劣化を除去する。 我々のLIRは、Pak Signal-to-Noise Ratio (PSNR)における最先端構造類似度指標(SSIM)および最先端モデルに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-02-02T12:39:47Z)
• Multimodal Prompt Perceiver: Empower Adaptiveness, Generalizability and Fidelity for All-in-One Image Restoration [58.11518043688793]
  MPerceiverは、オールインワン画像復元のための適応性、一般化性、忠実性を高める新しいアプローチである。 MPerceiverは、オールインワンIRの9つのタスクでトレーニングされ、ほとんどのタスクで最先端のタスク固有のメソッドより優れています。
  論文  参考訳（メタデータ） (2023-12-05T17:47:11Z)
• ICF-SRSR: Invertible scale-Conditional Function for Self-Supervised Real-world Single Image Super-Resolution [60.90817228730133]
  単一画像超解像(SISR)は、与えられた低解像度(LR)画像を高解像度(HR)にアップサンプリングすることを目的とした課題である。 近年のアプローチは、単純化されたダウンサンプリング演算子によって劣化したシミュレーションLR画像に基づいて訓練されている。 Invertible Scale-Conditional Function (ICF) を提案する。これは入力画像をスケールし、異なるスケール条件で元の入力を復元する。
  論文  参考訳（メタデータ） (2023-07-24T12:42:45Z)
• DRM-IR: Task-Adaptive Deep Unfolding Network for All-In-One Image Restoration [5.573836220587265]
  本研究は,効率的な動的参照モデリングパラダイム(DRM-IR)を提案する。 DRM-IRはタスク適応型劣化モデリングとモデルベースの画像復元で構成されている。 複数のベンチマークデータセットの実験は、DRM-IRがAll-In-One IRで最先端のIRを達成することを示している。
  論文  参考訳（メタデータ） (2023-07-15T02:42:19Z)
• RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
  バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。 本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:14:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。