論文の概要: MDeRainNet: An Efficient Neural Network for Rain Streak Removal from Macro-pixel Images

• arxiv url: http://arxiv.org/abs/2406.10652v1
• Date: Sat, 15 Jun 2024 14:47:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 23:23:59.286040
• Title: MDeRainNet: An Efficient Neural Network for Rain Streak Removal from Macro-pixel Images
• Title（参考訳）: MDeRainNet: マクロピクセル画像からの降雨ストリーク除去のための効率的なニューラルネットワーク
• Authors: Tao Yan, Weijiang He, Chenglong Wang, Xiangjie Zhu, Yinghui Wang, Rynson W. H. Lau,
• Abstract要約: 我々は,LF画像から降雨ストリーク除去を行うために,MDeRainNetと呼ばれる効率的なネットワークを提案する。 提案するネットワークはマルチスケールエンコーダデコーダアーキテクチャを採用し, 直接マクロピクセル画像(MPI)を用いて降雨除去性能を向上する。 そこで本研究では,MDeRainNetのための新しい半教師付き学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 44.83349966064718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since rainy weather always degrades image quality and poses significant challenges to most computer vision-based intelligent systems, image de-raining has been a hot research topic. Fortunately, in a rainy light field (LF) image, background obscured by rain streaks in one sub-view may be visible in the other sub-views, and implicit depth information and recorded 4D structural information may benefit rain streak detection and removal. However, existing LF image rain removal methods either do not fully exploit the global correlations of 4D LF data or only utilize partial sub-views, resulting in sub-optimal rain removal performance and no-equally good quality for all de-rained sub-views. In this paper, we propose an efficient network, called MDeRainNet, for rain streak removal from LF images. The proposed network adopts a multi-scale encoder-decoder architecture, which directly works on Macro-pixel images (MPIs) to improve the rain removal performance. To fully model the global correlation between the spatial and the angular information, we propose an Extended Spatial-Angular Interaction (ESAI) module to merge them, in which a simple and effective Transformer-based Spatial-Angular Interaction Attention (SAIA) block is also proposed for modeling long-range geometric correlations and making full use of the angular information. Furthermore, to improve the generalization performance of our network on real-world rainy scenes, we propose a novel semi-supervised learning framework for our MDeRainNet, which utilizes multi-level KL loss to bridge the domain gap between features of synthetic and real-world rain streaks and introduces colored-residue image guided contrastive regularization to reconstruct rain-free images. Extensive experiments conducted on synthetic and real-world LFIs demonstrate that our method outperforms the state-of-the-art methods both quantitatively and qualitatively.
• Abstract（参考訳）: 雨天は常に画質を低下させ、ほとんどのコンピュータビジョンベースのインテリジェントシステムに重大な課題をもたらすため、画像のデライニングはホットな研究トピックとなっている。 幸いなことに、雨天地(LF)画像では、他のサブビューでは雨天の背景が見え、暗黙の深度情報と記録された4D構造情報は雨天の検出と除去に有用である。 しかし,既存のLF画像の降雨除去手法では,4次元LFデータの大域的相関を十分に活用していないか,部分的なサブビューしか利用していないため,降雨性能は最適化されていない。 本稿では,LF画像からの降雨ストリーク除去のために,MDeRainNetと呼ばれる効率的なネットワークを提案する。 提案するネットワークはマルチスケールエンコーダデコーダアーキテクチャを採用し, 直接マクロピクセル画像(MPI)を用いて降雨除去性能を向上する。 空間情報と角情報とのグローバルな相関関係をモデル化するために,拡張空間角相互作用 (ESAI) モジュールをマージし,よりシンプルで効果的なトランスフォーマーベース空間角相互作用 (SAIA) ブロックも提案し,長距離幾何学的相関をモデル化し,角情報を完全に活用する。 さらに,実世界の降雨場面におけるネットワークの一般化性能を向上させるために,MDeRainNet のための新しい半教師付き学習フレームワークを提案する。 合成LFIと実世界のLFIを用いた大規模実験により,本手法は定量的,定性的に,最先端の手法よりも優れた性能を示した。

関連論文リスト

• Contrastive Learning Based Recursive Dynamic Multi-Scale Network for Image Deraining [47.764883957379745]
  雨のストリークは撮影画像の可視性を著しく低下させる。 既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。 本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:51:41Z)
• Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
  暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。 既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。 L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
  論文  参考訳（メタデータ） (2023-05-06T10:17:42Z)
• Rain Removal from Light Field Images with 4D Convolution and Multi-scale Gaussian Process [38.2995970847287]
  1枚の入力画像だけでは、正確に雨害を検出し、雨害を除去し、無雨画像を復元することは極めて困難である。 単一の2次元画像と比較すると、光場画像(LFI)は、対象シーンの豊富な3次元構造とテクスチャ情報を埋め込む。 そこで我々は,LFIから降雨ストリーク除去のための新しいネットワークである4D-MGP-SRRNetを提案する。
  論文  参考訳（メタデータ） (2022-08-16T13:09:53Z)
• Toward Real-world Single Image Deraining: A New Benchmark and Beyond [79.5893880599847]
  現実シナリオにおけるSID(Single Image deraining)は近年注目されている。 以前の実際のデータセットは、低解像度の画像、均一な雨のストリーク、背景の変化の制限、イメージペアの誤調整に悩まされていた。 我々はRealRain-1kという新しい高品質のデータセットを構築した。
  論文  参考訳（メタデータ） (2022-06-11T12:26:59Z)
• Semi-MoreGAN: A New Semi-supervised Generative Adversarial Network for Mixture of Rain Removal [18.04268933542476]
  降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水) セミモレGANは、4つの重要なモジュールで構成されている: (I) 正確な深度推定を提供する新しい注意深度予測ネットワーク、 (ii) 詳細な画像コンテキスト特徴を生成するためによく設計された詳細残差ブロックで構成されたコンテキスト特徴予測ネットワーク、 (iii) ピラミッド深度誘導非局所ネットワークにより画像コンテキストを深度情報と有効に統合し、最終雨量のない画像を生成する、 (iv) モデルに制限を加えるための包括的な半教師付き損失関数。
  論文  参考訳（メタデータ） (2022-04-28T11:35:26Z)
• Structure-Preserving Deraining with Residue Channel Prior Guidance [33.41254475191555]
  多くのハイレベルコンピュータビジョンタスクにおいて、単一画像のデアライニングが重要である。 RCP誘導を用いた構造保存評価ネットワーク(SPDNet)を提案する。 SPDNetは、RCPガイダンスの下で、明瞭で正確な構造を持つ高品質な無雨画像を直接生成する。
  論文  参考訳（メタデータ） (2021-08-20T09:09:56Z)
• Exploiting Global and Local Attentions for Heavy Rain Removal on Single Images [35.596659286313766]
  単一画像からの豪雨除去は、雨のストレークと霧を同時に排除する作業である。 既存の降雨除去方法は, 大雨の場合, あまり一般的ではない。 3つのサブネットワークからなる新しいネットワークアーキテクチャを提案し、単一の画像から大雨を取り除く。
  論文  参考訳（メタデータ） (2021-04-16T14:08:27Z)
• From Rain Generation to Rain Removal [67.71728610434698]
  雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。 降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。 総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
  論文  参考訳（メタデータ） (2020-08-08T18:56:51Z)
• Multi-Scale Progressive Fusion Network for Single Image Deraining [84.0466298828417]
  空気中の雨のストリークは、位置からカメラまでの距離が異なるため、様々なぼやけた度合いや解像度で現れる。 同様の降雨パターンは、雨像やマルチスケール(またはマルチレゾリューション)バージョンで見ることができる。 本研究では,入力画像のスケールと階層的な深部特徴の観点から,雨天のマルチスケール協調表現について検討する。
  論文  参考訳（メタデータ） (2020-03-24T17:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。