論文の概要: Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding

• arxiv url: http://arxiv.org/abs/2411.16217v1
• Date: Mon, 25 Nov 2024 09:26:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:20:26.080390
• Title: Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding
• Title（参考訳）: 局所的動的最適化と条件付埋め込みによる混合劣化画像復元
• Authors: Yubin Gu, Yuan Meng, Xiaoshuai Sun, Jiayi Ji, Weijian Ruan, Rongrong Ji,
• Abstract要約: マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
• 参考スコア（独自算出の注目度）: 67.57487747508179
• License:
• Abstract: Multiple-in-one image restoration (IR) has made significant progress, aiming to handle all types of single degraded image restoration with a single model. However, in real-world scenarios, images often suffer from combinations of multiple degradation factors. Existing multiple-in-one IR models encounter challenges related to degradation diversity and prompt singularity when addressing this issue. In this paper, we propose a novel multiple-in-one IR model that can effectively restore images with both single and mixed degradations. To address degradation diversity, we design a Local Dynamic Optimization (LDO) module which dynamically processes degraded areas of varying types and granularities. To tackle the prompt singularity issue, we develop an efficient Conditional Feature Embedding (CFE) module that guides the decoder in leveraging degradation-type-related features, significantly improving the model's performance in mixed degradation restoration scenarios. To validate the effectiveness of our model, we introduce a new dataset containing both single and mixed degradation elements. Experimental results demonstrate that our proposed model achieves state-of-the-art (SOTA) performance not only on mixed degradation tasks but also on classic single-task restoration benchmarks.
• Abstract（参考訳）: マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 しかし、現実のシナリオでは、画像は複数の分解因子の組み合わせに悩まされることが多い。 既存のマルチインワンIRモデルは、この問題に対処する際、劣化の多様性と特異点の促進に関連する課題に直面する。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。 劣化の多様性に対処するため,様々なタイプや粒度の劣化領域を動的に処理するローカル動的最適化(LDO)モジュールを設計する。 即時特異性問題に対処するため,デコーダのデコーダを誘導する効率的な条件付き特徴埋め込み(CFE)モジュールを開発し,複合劣化復旧シナリオにおけるモデルの性能を著しく向上させる。 本モデルの有効性を検証するため, 単一および混合分解要素を含む新しいデータセットを提案する。 実験結果から,提案手法は混合劣化タスクだけでなく,古典的な単一タスク復元ベンチマークにも適用可能であることがわかった。

関連論文リスト

• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  これは、モデルを一連の劣化ベースでトレーニングし、これらのベースがゼロショットで構成できる可能性のある劣化を除去する、新しいタスク設定である。 段階的に問題に対処するLLMに着想を得たCoR(Chain-of-Thought)を提案する。 CoRは、未知の複合劣化を段階的に除去するようモデルに指示する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• OneRestore: A Universal Restoration Framework for Composite Degradation [33.556183375565034]
  現実のシナリオでは、画像障害はしばしば複合的な劣化として現れ、低光、迷路、雨、雪といった要素の複雑な相互作用を示す。 本研究では, 複雑な複合劣化シナリオを正確に表現するために, 4つの物理劣化パラダイムを統合した多目的イメージングモデルを提案する。 OneRestoreは、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T16:27:00Z)
• Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
  この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。 我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
  論文  参考訳（メタデータ） (2024-04-15T12:34:21Z)
• Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
  画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-12-12T14:27:59Z)
• Multi-task Image Restoration Guided By Robust DINO Features [88.74005987908443]
  DINOv2から抽出したロバストな特徴を利用したマルチタスク画像復元手法であるmboxtextbfDINO-IRを提案する。 まず,DINOV2の浅い特徴を動的に融合するPSF (Pixel-semantic fusion) モジュールを提案する。 これらのモジュールを統一された深層モデルに定式化することにより、モデルトレーニングを制約するために、DINO知覚の対照的な損失を提案する。
  論文  参考訳（メタデータ） (2023-12-04T06:59:55Z)
• Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration [78.14941737723501]
  オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
  論文  参考訳（メタデータ） (2023-09-04T14:18:00Z)
• Super-resolution Reconstruction of Single Image for Latent features [8.857209365343646]
  単一像超解像(SISR)は、通常、様々な劣化した低分解能(LR)画像を単一の高分解能(HR)画像に復元することに焦点を当てる。 モデルが細部やテクスチャの多様性を保ちながら、高品質かつ迅速なサンプリングを同時に維持することは、しばしば困難である。 この課題は、モデル崩壊、再構成されたHR画像におけるリッチディテールとテクスチャの特徴の欠如、モデルサンプリングの過剰な時間消費などの問題を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2022-11-16T09:37:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。