論文の概要: SAPNet: Segmentation-Aware Progressive Network for Perceptual Contrastive Deraining

• arxiv url: http://arxiv.org/abs/2111.08892v1
• Date: Wed, 17 Nov 2021 03:57:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 21:30:51.287551
• Title: SAPNet: Segmentation-Aware Progressive Network for Perceptual Contrastive Deraining
• Title（参考訳）: SAPNet: 知覚コントラスト評価のためのセグメンテーション対応プログレッシブネットワーク
• Authors: Shen Zheng, Changjie Lu, Yuxiong Wu and Gaurav Gupta
• Abstract要約: 単一画像のデライニングのためのコントラスト学習に基づくセグメンテーション・アウェア・プログレッシブ・ネットワーク(SAPNet)を提案する。 本モデルでは,オブジェクト検出とセマンティックセマンティックセグメンテーションを高い精度で支援する。
• 参考スコア（独自算出の注目度）: 2.615176171489612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning algorithms have recently achieved promising deraining performances on both the natural and synthetic rainy datasets. As an essential low-level pre-processing stage, a deraining network should clear the rain streaks and preserve the fine semantic details. However, most existing methods only consider low-level image restoration. That limits their performances at high-level tasks requiring precise semantic information. To address this issue, in this paper, we present a segmentation-aware progressive network (SAPNet) based upon contrastive learning for single image deraining. We start our method with a lightweight derain network formed with progressive dilated units (PDU). The PDU can significantly expand the receptive field and characterize multi-scale rain streaks without the heavy computation on multi-scale images. A fundamental aspect of this work is an unsupervised background segmentation (UBS) network initialized with ImageNet and Gaussian weights. The UBS can faithfully preserve an image's semantic information and improve the generalization ability to unseen photos. Furthermore, we introduce a perceptual contrastive loss (PCL) and a learned perceptual image similarity loss (LPISL) to regulate model learning. By exploiting the rainy image and groundtruth as the negative and the positive sample in the VGG-16 latent space, we bridge the fine semantic details between the derained image and the groundtruth in a fully constrained manner. Comprehensive experiments on synthetic and real-world rainy images show our model surpasses top-performing methods and aids object detection and semantic segmentation with considerable efficacy. A Pytorch Implementation is available at https://github.com/ShenZheng2000/SAPNet-for-image-deraining.
• Abstract（参考訳）: ディープラーニングアルゴリズムは最近、自然データと合成雨のデータセットの両方で、有望なフェデインパフォーマンスを達成している。 根本的な低レベル前処理の段階として、デレーニングネットワークは雨の流れをクリアし、セマンティックな詳細を保存すべきである。 しかし、既存のほとんどの手法は低レベルの画像復元しか考慮していない。 これにより、正確なセマンティック情報を必要とするハイレベルなタスクのパフォーマンスが制限される。 この問題に対処するため,本論文では,単一画像デライニングのためのコントラスト学習に基づくセグメンテーション対応プログレッシブネットワーク(SAPNet)を提案する。 提案手法は,プログレッシブ拡張ユニット(PDU)を用いた軽量なデラインネットワークで開始する。 PDUは受容界を著しく拡大し、マルチスケール画像の重み計算をすることなくマルチスケールの雨天を特徴付けることができる。 この研究の基本的な側面は、イメージネットとガウス重みを初期化したunsupervised background segmentation (UBS)ネットワークである。 UBSは画像の意味情報を忠実に保存し、写真を表示する一般化能力を向上させることができる。 さらに、モデル学習を制御するために、知覚的コントラスト損失(PCL)と学習的知覚的画像類似性損失(LPISL)を導入する。 本稿では,VGG-16潜伏空間における正の正の正の正の正の降雨像と降雨像を生かし,その微妙な意味的詳細を,完全に拘束された方法で橋渡しする。 合成および実世界の降雨画像に関する総合的な実験により、我々のモデルは最高性能の手法を超越し、オブジェクトの検出とセマンティックセグメンテーションをかなりの有効性で支援している。 Pytorchの実装はhttps://github.com/ShenZheng2000/SAPNet-for-image-derainingで公開されている。

関連論文リスト

• Dynamic Association Learning of Self-Attention and Convolution in Image Restoration [56.49098856632478]
  CNNとSelf attentionは、画像修復における自己意識と畳み込みの動的関連学習のためのマルチメディアアプリケーションにおいて大きな成功を収めている。 本稿では,その利点を活かし,その欠点を抑え,高品質で効率的な塗布を実現するためのアソシエーション学習手法を提案する。
  論文  参考訳（メタデータ） (2023-11-09T05:11:24Z)
• Contrastive Learning Based Recursive Dynamic Multi-Scale Network for Image Deraining [47.764883957379745]
  雨のストリークは撮影画像の可視性を著しく低下させる。 既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。 本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:51:41Z)
• Single Image Deraining via Feature-based Deep Convolutional Neural Network [13.39233717329633]
  データ駆動型アプローチとモデルベースアプローチを組み合わせた,単一画像デラミニングアルゴリズムを提案する。 実験の結果,提案アルゴリズムは質的,定量的両面で最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-05-03T13:12:51Z)
• Semi-DRDNet Semi-supervised Detail-recovery Image Deraining Network via Unpaired Contrastive Learning [59.22620253308322]
  半教師付き詳細復元画像デラミニングネットワーク(セミDRDNet)を提案する。 半教師付き学習パラダイムとして、Semi-DRDNetは、強靭性と詳細な精度を犠牲にして、合成データと実世界の降雨データの両方を円滑に運用する。
  論文  参考訳（メタデータ） (2022-04-06T12:35:27Z)
• Structure-Preserving Deraining with Residue Channel Prior Guidance [33.41254475191555]
  多くのハイレベルコンピュータビジョンタスクにおいて、単一画像のデアライニングが重要である。 RCP誘導を用いた構造保存評価ネットワーク(SPDNet)を提案する。 SPDNetは、RCPガイダンスの下で、明瞭で正確な構造を持つ高品質な無雨画像を直接生成する。
  論文  参考訳（メタデータ） (2021-08-20T09:09:56Z)
• RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining [49.99207211126791]
  雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。 RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。 このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
  論文  参考訳（メタデータ） (2021-07-14T16:08:11Z)
• Beyond Monocular Deraining: Parallel Stereo Deraining Network Via Semantic Prior [103.49307603952144]
  ほとんどの既存の脱雨アルゴリズムは単一の入力画像のみを使用し、クリーンな画像の復元を目指しています。 本稿では,ステレオ画像とセマンティック情報の両方を利用するPaired Rain Removal Network(PRRNet)を提案する。 単分子および新たに提案したステレオ降雨データセットの両方の実験により,提案手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2021-05-09T04:15:10Z)
• A Model-driven Deep Neural Network for Single Image Rain Removal [52.787356046951494]
  完全解釈可能なネットワーク構造を持つモデル駆動型ディープニューラルネットワークを提案する。 雨を表現するための畳み込み辞書学習機構に基づいて,新しい単一画像デレーニングモデルを提案する。 すべてのレインカーネルとオペレータは自動的に抽出され、レイン層とクリーンなバックグラウンド層の両方の特徴を忠実に特徴付けることができる。
  論文  参考訳（メタデータ） (2020-05-04T09:13:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。