論文の概要: LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration

• arxiv url: http://arxiv.org/abs/2410.15385v2
• Date: Sat, 16 Nov 2024 09:02:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:29:08.068332
• Title: LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration
• Title（参考訳）: LoRA-IR:効率的なオールインワン画像復元のためのローランクエキスパートのタッグ
• Authors: Yuang Ai, Huaibo Huang, Ran He,
• Abstract要約: 高速なオールインワン画像復元を実現するために,コンパクトな低ランクの専門家を動的に活用する,フレキシブルなフレームワークであるLoRA-IRを提案する。 LoRA-IRは、劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。 実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。
• 参考スコア（独自算出の注目度）: 62.3751291442432
• License:
• Abstract: Prompt-based all-in-one image restoration (IR) frameworks have achieved remarkable performance by incorporating degradation-specific information into prompt modules. Nevertheless, handling the complex and diverse degradations encountered in real-world scenarios remains a significant challenge. To tackle this, we propose LoRA-IR, a flexible framework that dynamically leverages compact low-rank experts to facilitate efficient all-in-one image restoration. Specifically, LoRA-IR consists of two training stages: degradation-guided pre-training and parameter-efficient fine-tuning. In the pre-training stage, we enhance the pre-trained CLIP model by introducing a simple mechanism that scales it to higher resolutions, allowing us to extract robust degradation representations that adaptively guide the IR network. In the fine-tuning stage, we refine the pre-trained IR network through low-rank adaptation (LoRA). Built upon a Mixture-of-Experts (MoE) architecture, LoRA-IR dynamically integrates multiple low-rank restoration experts through a degradation-guided router. This dynamic integration mechanism significantly enhances our model's adaptability to diverse and unknown degradations in complex real-world scenarios. Extensive experiments demonstrate that LoRA-IR achieves SOTA performance across 14 IR tasks and 29 benchmarks, while maintaining computational efficiency. Code and pre-trained models will be available at: https://github.com/shallowdream204/LoRA-IR.
• Abstract（参考訳）: プロンプトベースのオールインワン画像復元(IR)フレームワークは、分解特異的情報をプロンプトモジュールに組み込むことで、優れたパフォーマンスを実現している。 それでも、現実世界のシナリオで遭遇する複雑で多様な劣化を扱うことは、依然として大きな課題である。 これを解決するために,コンパクトな低ランクの専門家を動的に活用し,オールインワン画像の効率的な復元を容易にする,フレキシブルなフレームワークであるLoRA-IRを提案する。 具体的には、LoRA-IRは劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。 事前学習の段階では、より高解像度にスケールするシンプルなメカニズムを導入し、IRネットワークを適応的に誘導する堅牢な劣化表現を抽出することで、事前訓練されたCLIPモデルを強化する。 微調整の段階では、ローランク適応(LoRA)により事前訓練したIRネットワークを洗練する。 Mixture-of-Experts (MoE)アーキテクチャに基づいて構築されたLoRA-IRは、劣化誘導ルータを通じて複数の低ランク復元専門家を動的に統合する。 この動的統合メカニズムは、複雑な実世界のシナリオにおいて、多様で未知の劣化に対するモデルの適応性を著しく向上させる。 大規模な実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。 コードおよび事前トレーニングされたモデルは、https://github.com/shallowdream204/LoRA-IRで利用可能である。

関連論文リスト

• CoRe-Net: Co-Operational Regressor Network with Progressive Transfer Learning for Blind Radar Signal Restoration [15.913517836391357]
  本研究では、ブラインドレーダ信号復元のためのCo-Operational Regressor Network(CoRe-Net)と呼ばれる新しいモデルを提案する。 CoRe-Netは、対人訓練を新しい協調学習戦略に置き換え、Apprentice Regressor(AR)とMaster Regressor(MR)の相補的な役割を活用する 公平な実験環境下では,CoRe-Netは1dB以上のSNR改善率でOp-GANを上回っている。
  論文  参考訳（メタデータ） (2025-01-28T18:15:27Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• Hierarchical Information Flow for Generalized Efficient Image Restoration [108.83750852785582]
  画像復元のための階層型情報フロー機構であるHi-IRを提案する。 Hi-IRは、劣化した画像を表す階層的な情報ツリーを3段階にわたって構築する。 7つの共通画像復元タスクにおいて、Hi-IRはその有効性と一般化性を達成する。
  論文  参考訳（メタデータ） (2024-11-27T18:30:08Z)
• SLIM: Let LLM Learn More and Forget Less with Soft LoRA and Identity Mixture [7.543093479330315]
  下流タスクのためのモデル全体のトレーニングは費用がかかるため、破滅的な忘れ忘れをしがちです。 我々は,Soft LoRA と Identity Mixture (SLIM) をベースとした,新たな専門家(MoE) フレームワークを提案する。 SLIMはLoRAアダプタとスキップ接続間の動的ルーティングを可能にし、忘れの抑制を可能にする。
  論文  参考訳（メタデータ） (2024-10-10T09:16:05Z)
• AdaIR: Exploiting Underlying Similarities of Image Restoration Tasks with Adapters [57.62742271140852]
  AdaIRは、パフォーマンスを犠牲にすることなく、低コストで効率的なトレーニングを可能にする新しいフレームワークである。 AdaIRは軽量でタスク固有のモジュールのトレーニングのみを必要とし、より効率的なストレージとトレーニング体制を確保する。
  論文  参考訳（メタデータ） (2024-04-17T15:31:06Z)
• Low-Res Leads the Way: Improving Generalization for Super-Resolution by Self-Supervised Learning [45.13580581290495]
  本研究は,SRモデルの現実の画像への適応性を高めるために,新しい"Low-Res Leads the Way"(LWay)トレーニングフレームワークを導入する。 提案手法では,低分解能(LR)再構成ネットワークを用いて,LR画像から劣化埋め込みを抽出し,LR再構成のための超解出力とマージする。 私たちのトレーニング体制は普遍的に互換性があり、ネットワークアーキテクチャの変更は不要です。
  論文  参考訳（メタデータ） (2024-03-05T02:29:18Z)
• ICF-SRSR: Invertible scale-Conditional Function for Self-Supervised Real-world Single Image Super-Resolution [60.90817228730133]
  単一画像超解像(SISR)は、与えられた低解像度(LR)画像を高解像度(HR)にアップサンプリングすることを目的とした課題である。 近年のアプローチは、単純化されたダウンサンプリング演算子によって劣化したシミュレーションLR画像に基づいて訓練されている。 Invertible Scale-Conditional Function (ICF) を提案する。これは入力画像をスケールし、異なるスケール条件で元の入力を復元する。
  論文  参考訳（メタデータ） (2023-07-24T12:42:45Z)
• RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
  バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。 本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:14:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。