論文の概要: AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

• arxiv url: http://arxiv.org/abs/2403.14614v1
• Date: Thu, 21 Mar 2024 17:58:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 13:00:31.969449
• Title: AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation
• Title（参考訳）: AdaIR: 周波数マイニングと変調による適応的なオールインワン画像復元
• Authors: Yuning Cui, Syed Waqas Zamir, Salman Khan, Alois Knoll, Mubarak Shah, Fahad Shahbaz Khan,
• Abstract要約: 周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。 我々のアプローチは、異なる周波数サブバンド上の画像内容に異なる劣化タイプが影響を及ぼすという観察によって動機付けられている。 提案モデルでは,入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。
• 参考スコア（独自算出の注目度）: 99.57024606542416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.
• Abstract（参考訳）: 画像取得プロセスでは、ノイズ、ヘイズ、雨などの様々な形態の劣化が頻繁に導入される。 これらの劣化は、通常、カメラの固有の制限や、好ましくない環境条件から生じる。 劣化した画像からクリーンな画像を復元するために, 特定の種類の劣化をターゲットとした多数の特殊復元法が開発されている。 近年,入力劣化型の事前情報を必要とせず,単一のモデル内で異なるタイプの劣化に対処することで,オールインワンアルゴリズムに大きな注目を集めている。 しかし、これらの手法は純粋に空間領域で動作し、異なる劣化タイプ固有の異なる周波数変化を探索しない。 このギャップに対処するために、周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。 本手法は, 異なる周波数サブバンド上の画像内容に異なる劣化タイプが与える影響について考察し, 修復作業ごとに異なる処理が必要であることを考察した。 具体的には、まず入力特徴から低周波および高周波情報を抽出し、劣化した画像の適応的に分解されたスペクトルを導出する。 抽出された特徴は、異なる周波数成分間の相互作用を容易にするために、双方向演算子によって変調される。 最後に、変調された特徴を元の入力にマージし、段階的にガイドされた復元を行う。 このアプローチにより、入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。 広汎な実験により, 提案手法は, 復調, 脱臭, デラリニング, 動きの鈍化, 低照度画像強調など, 様々な画像復元作業において, 最先端の性能を達成できることが実証された。 私たちのコードはhttps://github.com/c-yn/AdaIR.comで公開されています。

関連論文リスト

• Multi-Scale Representation Learning for Image Restoration with State-Space Model [13.622411683295686]
  効率的な画像復元のためのマルチスケール状態空間モデル(MS-Mamba)を提案する。 提案手法は,計算複雑性を低く保ちながら,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-19T16:42:58Z)
• Learning Frequency-Aware Dynamic Transformers for All-In-One Image Restoration [15.561713188178455]
  本稿では,先進視覚変換器を利用したオールインワン画像復元手法を提案する。 本手法は,周波数認識型事前学習変圧器(Dformer)と劣化適応再生変圧器(Rformer)の2つの主成分からなる。
  論文  参考訳（メタデータ） (2024-06-30T13:14:44Z)
• Bracketing Image Restoration and Enhancement with High-Low Frequency Decomposition [44.80645807358389]
  HLNetは、高周波数分解に基づくブラケット画像復元・改善手法である。 特徴抽出には,共有重みモジュールと非共有重みモジュールの2つのモジュールを用いる。 非共有重みモジュールでは、低周波情報を扱うために異なる手法を用いるHLFDB(High-Low Frequency Decomposition Block)を導入する。
  論文  参考訳（メタデータ） (2024-04-21T05:11:37Z)
• Seeing the Unseen: A Frequency Prompt Guided Transformer for Image Restoration [44.35766203309201]
  本研究では,FProと呼ばれる周波数プロンプト画像復元手法を開発し,この手法により周波数パースペクティブ・コンポーネントを効果的に提供し,復元モデルを誘導する。 5つの画像復元作業において,SOTA法に対するパイプラインの良好な性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-03-30T08:42:34Z)
• Decoupling Degradation and Content Processing for Adverse Weather Image Restoration [79.59228846484415]
  逆の気象画像復元は、雨、干し草、雪などの様々な気象の影響を受ける人々から、鮮明なイメージを復元する試みである。 従来の手法では、1つのネットワーク内で複数の気象タイプを処理できるが、これら2つのプロセス間の決定的な区別を無視し、復元された画像の品質を制限している。 本研究は,DDCNetと呼ばれる新しい悪天候画像復元手法を導入し,チャネル統計に基づく特徴レベルの劣化除去とコンテンツ復元を分離する。
  論文  参考訳（メタデータ） (2023-12-08T12:26:38Z)
• Holistic Dynamic Frequency Transformer for Image Fusion and Exposure Correction [18.014481087171657]
  露出関連問題の修正は、画像の品質向上における重要な要素である。 本稿では、周波数領域を利用して露出補正タスクの処理を改善し、統一する新しい手法を提案する。 提案手法は, 露光補正においてより高度で統一された解を実現する方法である。
  論文  参考訳（メタデータ） (2023-09-03T14:09:14Z)
• PromptIR: Prompting for All-in-One Blind Image Restoration [64.02374293256001]
  我々は、オールインワン画像復元のためのプロンプトIR(PromptIR)を提案する。 本手法では, 劣化特異的情報をエンコードするプロンプトを用いて, 復元ネットワークを動的に案内する。 PromptIRは、軽量なプロンプトがほとんどない汎用的で効率的なプラグインモジュールを提供する。
  論文  参考訳（メタデータ） (2023-06-22T17:59:52Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。