論文の概要: Harnessing Joint Rain-/Detail-aware Representations to Eliminate Intricate Rains

• arxiv url: http://arxiv.org/abs/2404.12091v1
• Date: Thu, 18 Apr 2024 11:20:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 12:41:30.589469
• Title: Harnessing Joint Rain-/Detail-aware Representations to Eliminate Intricate Rains
• Title（参考訳）: 複雑な降雨を除去する降雨・細部認識表現のハーネス化
• Authors: Wu Ran, Peirong Ma, Zhiquan He, Hao Ren, Hong Lu,
• Abstract要約: 我々は、CNNやTransformerベースのモデルを効率的に制御できるコンテキストベースのインスタンスレベル変調機構を開発する。 また,降雨・降雨・降雨・降雨・降雨の表現を抽出するために,降雨・降雨・降雨対応学習戦略を考案した。 CoI-Mと雨量/深度を意識したコントラスト学習を組み合わせることで、混合データセットのトレーニングモデルに適した、革新的で強力なアルゴリズムであるCoICを開発する。
• 参考スコア（独自算出の注目度）: 9.6606245317525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in image deraining have focused on training powerful models on mixed multiple datasets comprising diverse rain types and backgrounds. However, this approach tends to overlook the inherent differences among rainy images, leading to suboptimal results. To overcome this limitation, we focus on addressing various rainy images by delving into meaningful representations that encapsulate both the rain and background components. Leveraging these representations as instructive guidance, we put forth a Context-based Instance-level Modulation (CoI-M) mechanism adept at efficiently modulating CNN- or Transformer-based models. Furthermore, we devise a rain-/detail-aware contrastive learning strategy to help extract joint rain-/detail-aware representations. By integrating CoI-M with the rain-/detail-aware Contrastive learning, we develop CoIC, an innovative and potent algorithm tailored for training models on mixed datasets. Moreover, CoIC offers insight into modeling relationships of datasets, quantitatively assessing the impact of rain and details on restoration, and unveiling distinct behaviors of models given diverse inputs. Extensive experiments validate the efficacy of CoIC in boosting the deraining ability of CNN and Transformer models. CoIC also enhances the deraining prowess remarkably when real-world dataset is included.
• Abstract（参考訳）: 近年,降雨の種類や背景が多種多様である混成データセット上での強力なモデルの訓練に焦点が当てられている。 しかし、このアプローチは降雨画像の固有の相違を見落とし、最適以下の結果をもたらす傾向にある。 この制限を克服するために、雨と背景の両方をカプセル化した有意義な表現を掘り下げることで、様々な雨のイメージに対処することに注力する。 これらの表現を指導的ガイダンスとして活用し、CNNやTransformerベースのモデルを効率的に制御できるコンテキストベースのインスタンスレベル変調(CoI-M)機構を考案した。 さらに,降雨・降雨・降雨・降雨・降雨・降雨の表現の抽出を支援するために,降雨・降雨・降雨・降雨・降雨の対比学習戦略を考案した。 CoI-Mと雨量/深度を意識したコントラスト学習を組み合わせることで、混合データセットのトレーニングモデルに適した、革新的で強力なアルゴリズムであるCoICを開発する。 さらに、CoICはデータセットのモデリング関係に関する洞察を提供し、雨の影響と復元の詳細を定量的に評価し、多様な入力が与えられたモデルの異なる振る舞いを明らかにする。 大規模実験により, CNNモデルとトランスフォーマーモデルの劣化促進効果が実証された。 CoICはまた、現実世界のデータセットが組み込まれている場合、デラリニングの能力が著しく向上する。

関連論文リスト

• TRG-Net: An Interpretable and Controllable Rain Generator [61.2760968459789]
  本研究は,降雨の基盤となる物理的発生機構を十分に考慮した,新しい深層学習型降雨発生器を提案する。 その意義は、発電機が予想される雨をシミュレートするために雨の本質的な要素を精巧に設計するだけでなく、複雑で多様な雨のイメージに微妙に適応することにある。 提案した雨発生器が発生した雨は, 高品質であるだけでなく, 排水作業や下流作業にも有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-15T03:27:39Z)
• Contrastive Learning Based Recursive Dynamic Multi-Scale Network for Image Deraining [47.764883957379745]
  雨のストリークは撮影画像の可視性を著しく低下させる。 既存のディープラーニングベースの画像デライニング手法では、手作業で構築されたネットワークを使用して、雨の降った画像から明確な画像への直接投影を学習する。 本稿では,雨天画像と澄んだ画像との相関関係を考察した,対照的な学習に基づく画像デライニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:51:41Z)
• Semi-MoreGAN: A New Semi-supervised Generative Adversarial Network for Mixture of Rain Removal [18.04268933542476]
  降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水) セミモレGANは、4つの重要なモジュールで構成されている: (I) 正確な深度推定を提供する新しい注意深度予測ネットワーク、 (ii) 詳細な画像コンテキスト特徴を生成するためによく設計された詳細残差ブロックで構成されたコンテキスト特徴予測ネットワーク、 (iii) ピラミッド深度誘導非局所ネットワークにより画像コンテキストを深度情報と有効に統合し、最終雨量のない画像を生成する、 (iv) モデルに制限を加えるための包括的な半教師付き損失関数。
  論文  参考訳（メタデータ） (2022-04-28T11:35:26Z)
• Structure-Preserving Deraining with Residue Channel Prior Guidance [33.41254475191555]
  多くのハイレベルコンピュータビジョンタスクにおいて、単一画像のデアライニングが重要である。 RCP誘導を用いた構造保存評価ネットワーク(SPDNet)を提案する。 SPDNetは、RCPガイダンスの下で、明瞭で正確な構造を持つ高品質な無雨画像を直接生成する。
  論文  参考訳（メタデータ） (2021-08-20T09:09:56Z)
• Towards a Unified Approach to Single Image Deraining and Dehazing [16.383099109400156]
  降雨効果の新しい物理モデルを開発し,その均一な連続限界として,ヘイズ効果のよく知られた大気散乱モデル(ASM)が自然に現れることを示した。 また,デレーシングとデヘイジングの両方に適した,密集したスケール接続型注意ネットワーク (dscan) を提案する。
  論文  参考訳（メタデータ） (2021-03-26T01:35:43Z)
• Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
  本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。 具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。 ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
  論文  参考訳（メタデータ） (2021-03-14T14:28:57Z)
• From Rain Generation to Rain Removal [67.71728610434698]
  雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。 降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。 総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
  論文  参考訳（メタデータ） (2020-08-08T18:56:51Z)
• Structural Residual Learning for Single Image Rain Removal [48.87977695398587]
  本研究は,本質的な降雨構造を有するネットワークの出力残余を強制することで,新たなネットワークアーキテクチャを提案する。 このような構造的残差設定は、ネットワークによって抽出された雨層が、一般的な雨害の以前の知識に微妙に従うことを保証している。
  論文  参考訳（メタデータ） (2020-05-19T05:52:13Z)
• Multi-Scale Progressive Fusion Network for Single Image Deraining [84.0466298828417]
  空気中の雨のストリークは、位置からカメラまでの距離が異なるため、様々なぼやけた度合いや解像度で現れる。 同様の降雨パターンは、雨像やマルチスケール(またはマルチレゾリューション)バージョンで見ることができる。 本研究では,入力画像のスケールと階層的な深部特徴の観点から,雨天のマルチスケール協調表現について検討する。
  論文  参考訳（メタデータ） (2020-03-24T17:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。