論文の概要: UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2409.20197v1
• Date: Mon, 30 Sep 2024 11:16:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 12:56:53.696164
• Title: UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation
• Title（参考訳）: UIR-LoRA:マルチローランド適応によるユニバーサルイメージ復元の実現
• Authors: Cheng Zhang, Dong Gong, Jiumei He, Yu Zhu, Jinqiu Sun, Yanning Zhang,
• Abstract要約: 既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
• 参考スコア（独自算出の注目度）: 50.27688690379488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing unified methods typically treat multi-degradation image restoration as a multi-task learning problem. Despite performing effectively compared to single degradation restoration methods, they overlook the utilization of commonalities and specificities within multi-task restoration, thereby impeding the model's performance. Inspired by the success of deep generative models and fine-tuning techniques, we proposed a universal image restoration framework based on multiple low-rank adapters (LoRA) from multi-domain transfer learning. Our framework leverages the pre-trained generative model as the shared component for multi-degradation restoration and transfers it to specific degradation image restoration tasks using low-rank adaptation. Additionally, we introduce a LoRA composing strategy based on the degradation similarity, which adaptively combines trained LoRAs and enables our model to be applicable for mixed degradation restoration. Extensive experiments on multiple and mixed degradations demonstrate that the proposed universal image restoration method not only achieves higher fidelity and perceptual image quality but also has better generalization ability than other unified image restoration models. Our code is available at https://github.com/Justones/UIR-LoRA.
• Abstract（参考訳）: 既存の統一的な手法は、一般的にマルチタスク学習問題として、多段劣化画像復元を扱う。 単一劣化復旧法と比較して効果的に機能するにもかかわらず、マルチタスク復元における共通点と特異点の利用を見落とし、モデルの性能を損なう。 深層生成モデルと微調整技術の成功に触発されて,マルチドメイン転送学習からローランクアダプタ(LoRA)を多元化して画像復元を行う手法を提案する。 筆者らのフレームワークは,事前学習した生成モデルを多段劣化復元の共有コンポーネントとして利用し,低ランク適応を用いた特定の劣化画像復元タスクに転送する。 さらに, 学習したLoRAを適応的に組み合わせ, 混合劣化修復に適用可能な, 分解類似性に基づくLoRA合成戦略を導入する。 多重・混合劣化に関する広範囲な実験により,提案手法は高忠実度・知覚的画質を実現するだけでなく,他の統一画像復元モデルよりも優れた一般化能力を有することが示された。 私たちのコードはhttps://github.com/Justones/UIR-LoRAで利用可能です。

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  これは、モデルを一連の劣化ベースでトレーニングし、これらのベースがゼロショットで構成できる可能性のある劣化を除去する、新しいタスク設定である。 段階的に問題に対処するLLMに着想を得たCoR(Chain-of-Thought)を提案する。 CoRは、未知の複合劣化を段階的に除去するようモデルに指示する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)
• Multi-Scale Representation Learning for Image Restoration with State-Space Model [13.622411683295686]
  効率的な画像復元のためのマルチスケール状態空間モデル(MS-Mamba)を提案する。 提案手法は,計算複雑性を低く保ちながら,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-19T16:42:58Z)
• Bracketing Image Restoration and Enhancement with High-Low Frequency Decomposition [44.80645807358389]
  HLNetは、高周波数分解に基づくブラケット画像復元・改善手法である。 特徴抽出には,共有重みモジュールと非共有重みモジュールの2つのモジュールを用いる。 非共有重みモジュールでは、低周波情報を扱うために異なる手法を用いるHLFDB(High-Low Frequency Decomposition Block)を導入する。
  論文  参考訳（メタデータ） (2024-04-21T05:11:37Z)
• Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
  この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。 我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
  論文  参考訳（メタデータ） (2024-04-15T12:34:21Z)
• InstructIR: High-Quality Image Restoration Following Human Instructions [61.1546287323136]
  本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。 InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-01-29T18:53:33Z)
• Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild [57.06779516541574]
  SUPIR (Scaling-UP Image Restoration) は、生成前処理とモデルスケールアップのパワーを利用する、画期的な画像復元手法である。 モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
  論文  参考訳（メタデータ） (2024-01-24T17:58:07Z)
• Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
  画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-12-12T14:27:59Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。