論文の概要: Neural Degradation Representation Learning for All-In-One Image Restoration

• arxiv url: http://arxiv.org/abs/2310.12848v2
• Date: Tue, 17 Dec 2024 10:44:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:55:14.765902
• Title: Neural Degradation Representation Learning for All-In-One Image Restoration
• Title（参考訳）: オールインワン画像復元のためのニューラルネットワークによる劣化表現学習
• Authors: Mingde Yao, Ruikang Xu, Yuanshen Guan, Jie Huang, Zhiwei Xiong,
• Abstract要約: 複数の劣化に対処するオールインワン画像復元ネットワークを提案する。 我々は、様々な劣化の基盤となる特徴を捉える神経分解表現(NDR)を学習する。 我々は,NDRに基づく特定の劣化を効果的に認識し,活用するための劣化クエリモジュールと劣化インジェクションモジュールを開発した。
• 参考スコア（独自算出の注目度）: 44.222096739644655
• License:
• Abstract: Existing methods have demonstrated effective performance on a single degradation type. In practical applications, however, the degradation is often unknown, and the mismatch between the model and the degradation will result in a severe performance drop. In this paper, we propose an all-in-one image restoration network that tackles multiple degradations. Due to the heterogeneous nature of different types of degradations, it is difficult to process multiple degradations in a single network. To this end, we propose to learn a neural degradation representation (NDR) that captures the underlying characteristics of various degradations. The learned NDR decomposes different types of degradations adaptively, similar to a neural dictionary that represents basic degradation components. Subsequently, we develop a degradation query module and a degradation injection module to effectively recognize and utilize the specific degradation based on NDR, enabling the all-in-one restoration ability for multiple degradations. Moreover, we propose a bidirectional optimization strategy to effectively drive NDR to learn the degradation representation by optimizing the degradation and restoration processes alternately. Comprehensive experiments on representative types of degradations (including noise, haze, rain, and downsampling) demonstrate the effectiveness and generalization capability of our method.
• Abstract（参考訳）: 既存手法は, 単一劣化型に対して有効性能を示した。 しかし、実際の応用では、劣化はよく知られておらず、モデルと劣化のミスマッチは深刻な性能低下をもたらす。 本稿では,複数の劣化に対処するオールインワン画像復元ネットワークを提案する。 異なる種類の劣化の異種性のため、単一のネットワークで複数の劣化を処理することは困難である。 そこで本研究では, 様々な劣化の基盤となる特徴を捉えるニューラル劣化表現(NDR)を学習することを提案する。 学習されたNDRは、基本的な分解成分を表すニューラル辞書と同様に、異なるタイプの分解を適応的に分解する。 その後,NDRに基づく特定の劣化を効果的に認識し,活用するための劣化クエリモジュールと劣化インジェクションモジュールを開発し,複数の劣化に対してオールインワン復元機能を実現する。 さらに,NDRを効果的に駆動し,分解処理と復元処理を交互に最適化することで,劣化表現を学習する双方向最適化手法を提案する。 騒音, ヘイズ, 雨, ダウンサンプリングなどの代表的な劣化特性に関する総合的な実験は, 本手法の有効性と一般化能力を示すものである。

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  これは、モデルを一連の劣化ベースでトレーニングし、これらのベースがゼロショットで構成できる可能性のある劣化を除去する、新しいタスク設定である。 段階的に問題に対処するLLMに着想を得たCoR(Chain-of-Thought)を提案する。 CoRは、未知の複合劣化を段階的に除去するようモデルに指示する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)
• Efficient Degradation-aware Any Image Restoration [83.92870105933679]
  我々は,低ランク体制下での学習者(DaLe)を用いた効率的なオールインワン画像復元システムである textitDaAIR を提案する。 モデルキャパシティを入力劣化に動的に割り当てることにより、総合学習と特定の学習を統合した効率的な復調器を実現する。
  論文  参考訳（メタデータ） (2024-05-24T11:53:27Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Relationship Quantification of Image Degradations [72.98190570967937]
  劣化関係指数(DRI)は,2モデル間の検証損失の平均ドロップレート差として定義される。 DRIは常に、特定の劣化を列車モデルの補助として利用することで、性能改善を予測します。 得られた劣化組合せがアンカー劣化性能を向上させることができるかどうかを簡易かつ効果的に推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-12-08T09:05:19Z)
• Learning Generalizable Latent Representations for Novel Degradations in Super Resolution [29.706191592443027]
  本稿では,手工芸品(ベース)の劣化から新しい劣化まで一般化可能な劣化の潜在表現空間を学習することを提案する。 そして、この潜伏空間における新規な劣化の表現を利用して、新規な劣化と整合した劣化画像を生成する。 我々は,新しい劣化を伴う視覚超解像法の有効性と利点を検証するために,合成データセットと実世界のデータセットの両方について広範な実験を行った。
  論文  参考訳（メタデータ） (2022-07-25T16:22:30Z)
• Unsupervised Degradation Representation Learning for Blind Super-Resolution [27.788488575616032]
  CNNベースのスーパーリゾリューション(SR)手法は、実際の劣化が仮定と異なる場合に深刻なパフォーマンス低下を被る。 明示的な劣化推定を伴わない盲点SRのための教師なし劣化表現学習手法を提案する。 我々のネットワークは、ブラインドSRタスクの最先端性能を達成する。
  論文  参考訳（メタデータ） (2021-04-01T11:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。