論文の概要: Image Restoration via Multi-domain Learning

• arxiv url: http://arxiv.org/abs/2505.05504v1
• Date: Wed, 07 May 2025 04:14:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:09.997258
• Title: Image Restoration via Multi-domain Learning
• Title（参考訳）: マルチドメイン学習による画像復元
• Authors: Xingyu Jiang, Ning Gao, Xiuhui Zhang, Hongkun Dou, Shaowen Fu, Xiaoqing Zhong, Hongjue Li, Yue Deng,
• Abstract要約: マルチドメイン学習をTransformerに統合する新しい復元フレームワークを提案する。 具体的には、Token Mixerにおいて、局所領域-グローバル多受容場モデリングを容易にするSpatial-Wavelet-Fourierマルチドメイン構造を提案する。 フィードフォワードネットワークでは,異なる解像度でマルチドメイン機能を融合するために,マルチスケール学習を取り入れている。
• 参考スコア（独自算出の注目度）: 8.909636477353695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to adverse atmospheric and imaging conditions, natural images suffer from various degradation phenomena. Consequently, image restoration has emerged as a key solution and garnered substantial attention. Although recent Transformer architectures have demonstrated impressive success across various restoration tasks, their considerable model complexity poses significant challenges for both training and real-time deployment. Furthermore, instead of investigating the commonalities among different degradations, most existing restoration methods focus on modifying Transformer under limited restoration priors. In this work, we first review various degradation phenomena under multi-domain perspective, identifying common priors. Then, we introduce a novel restoration framework, which integrates multi-domain learning into Transformer. Specifically, in Token Mixer, we propose a Spatial-Wavelet-Fourier multi-domain structure that facilitates local-region-global multi-receptive field modeling to replace vanilla self-attention. Additionally, in Feed-Forward Network, we incorporate multi-scale learning to fuse multi-domain features at different resolutions. Comprehensive experimental results across ten restoration tasks, such as dehazing, desnowing, motion deblurring, defocus deblurring, rain streak/raindrop removal, cloud removal, shadow removal, underwater enhancement and low-light enhancement, demonstrate that our proposed model outperforms state-of-the-art methods and achieves a favorable trade-off among restoration performance, parameter size, computational cost and inference latency. The code is available at: https://github.com/deng-ai-lab/SWFormer.
• Abstract（参考訳）: 大気条件や撮像条件の悪さにより、自然画像は様々な劣化現象に悩まされる。 その結果、画像復元が重要な解決策として登場し、かなりの注目を集めた。 近年のTransformerアーキテクチャは、さまざまな復元タスクで顕著な成功を収めているが、その相当なモデルの複雑さは、トレーニングとリアルタイムデプロイメントの両方に重大な課題を生じさせている。 さらに、異なる劣化の共通点を調査する代わりに、既存の復元手法のほとんどは、復元前の限られた条件下でのトランスフォーマーの修正に重点を置いている。 本研究は,まず,多領域視点下での様々な劣化現象を概説し,共通先行現象を同定する。 次に,Transformerにマルチドメイン学習を統合する新しい復元フレームワークを提案する。 具体的には、Token Mixerにおいて、バニラ自己認識を置き換えるために、局所領域-グローバル多受容場モデリングを容易にするSpatial-Wavelet-Fourierマルチドメイン構造を提案する。 さらに、Feed-Forward Networkでは、異なる解像度でマルチドメイン機能を融合するために、マルチスケール学習を取り入れています。 脱臭, 脱毛, 脱毛, 脱毛, 降雨/落雷除去, 雲の除去, シャドー除去, 水中の強化と低照度化など10種類の修復作業における総合的な実験結果から, 提案モデルが最先端の手法より優れており, 修復性能, パラメータサイズ, 計算コスト, 推論遅延のトレードオフが良好であることを示す。 コードは、https://github.com/deng-ai-lab/SWFormer.comで入手できる。

関連論文リスト

• UniCoRN: Latent Diffusion-based Unified Controllable Image Restoration Network across Multiple Degradations [4.892790389883125]
  複数種類の劣化を同時に処理できる統一画像復元手法UniCoRNを提案する。 具体的には、制御可能な拡散モデルを導く際に、画像から抽出した低レベルの視覚的手がかりの可能性を明らかにする。 MetaRestoreも導入しています。MetaRestoreは、複数の劣化やアーティファクトの画像を含むメタレンスイメージングベンチマークです。
  論文  参考訳（メタデータ） (2025-03-20T05:42:13Z)
• UniUIR: Considering Underwater Image Restoration as An All-in-One Learner [49.35128836844725]
  我々はUniUIRと呼ばれるユニバーサル水中画像復元手法を提案する。 劣化固有の問題を分離し、UIRタスクにおける様々な劣化の相関関係を探るため、我々はMamba Mixture-of-Expertsモジュールを設計した。 このモジュールは、空間領域と周波数領域の両方において劣化前の情報を抽出し、最適なタスク固有のプロンプトを適応的に選択する。
  論文  参考訳（メタデータ） (2025-01-22T16:10:42Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Multi-Scale Representation Learning for Image Restoration with State-Space Model [13.622411683295686]
  効率的な画像復元のためのマルチスケール状態空間モデル(MS-Mamba)を提案する。 提案手法は,計算複雑性を低く保ちながら,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-19T16:42:58Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation [99.57024606542416]
  周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。 我々のアプローチは、異なる周波数サブバンド上の画像内容に異なる劣化タイプが影響を及ぼすという観察によって動機付けられている。 提案モデルでは,入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。
  論文  参考訳（メタデータ） (2024-03-21T17:58:14Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。