論文の概要: CLIP-driven rain perception: Adaptive deraining with pattern-aware network routing and mask-guided cross-attention
- arxiv url: http://arxiv.org/abs/2506.01366v1
- Date: Mon, 02 Jun 2025 06:49:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:34.07395
- Title: CLIP-driven rain perception: Adaptive deraining with pattern-aware network routing and mask-guided cross-attention
- Title（参考訳）: CLIPによる降雨知覚:パターン認識型ネットワークルーティングとマスク誘導型クロスアテンションによる適応的デライング
- Authors: Cong Guan, Osamu Yoshie,
- Abstract要約: 降雨パターンを自動的に知覚する新しいCLIP駆動型降雨知覚ネットワーク(CLIP-RPN)を提案する。
CLIP-RPNは、CLIPのクロスモーダルな視覚言語アライメント機能を通じて、セマンティック・アウェア・レインパターン認識を確立する。
また,マルチスケールで降雨マスクを予測するマスク誘導型クロスアテンション機構 (MGCA) も導入した。
- 参考スコア（独自算出の注目度）: 5.558786325041848
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Existing deraining models process all rainy images within a single network. However, different rain patterns have significant variations, which makes it challenging for a single network to handle diverse types of raindrops and streaks. To address this limitation, we propose a novel CLIP-driven rain perception network (CLIP-RPN) that leverages CLIP to automatically perceive rain patterns by computing visual-language matching scores and adaptively routing to sub-networks to handle different rain patterns, such as varying raindrop densities, streak orientations, and rainfall intensity. CLIP-RPN establishes semantic-aware rain pattern recognition through CLIP's cross-modal visual-language alignment capabilities, enabling automatic identification of precipitation characteristics across different rain scenarios. This rain pattern awareness drives an adaptive subnetwork routing mechanism where specialized processing branches are dynamically activated based on the detected rain type, significantly enhancing the model's capacity to handle diverse rainfall conditions. Furthermore, within sub-networks of CLIP-RPN, we introduce a mask-guided cross-attention mechanism (MGCA) that predicts precise rain masks at multi-scale to facilitate contextual interactions between rainy regions and clean background areas by cross-attention. We also introduces a dynamic loss scheduling mechanism (DLS) to adaptively adjust the gradients for the optimization process of CLIP-RPN. Compared with the commonly used $l_1$ or $l_2$ loss, DLS is more compatible with the inherent dynamics of the network training process, thus achieving enhanced outcomes. Our method achieves state-of-the-art performance across multiple datasets, particularly excelling in complex mixed datasets.
- Abstract（参考訳）: 既存のデアライニングモデルは、単一のネットワーク内ですべての雨の画像を処理します。
しかし、異なる降雨パターンには大きなバリエーションがあり、単一のネットワークが様々な種類の雨滴やストリークを扱うことは困難である。
この制限に対処するため,CLIP を利用した新しい降雨知覚ネットワーク (CLIP-RPN) を提案し,CLIP を利用した降雨パターンの自動認識を視覚言語マッチングスコアの計算とサブネットワークへの適応ルーティングにより,降雨密度,ストリーク配向,降雨強度などの異なる降雨パターンの処理を行う。
CLIP-RPNは、CLIPのクロスモーダルな視覚言語アライメント機能を通じて、セマンティック・アウェア・レインパターン認識を確立し、異なる雨シナリオ間で降水特性の自動識別を可能にする。
この雨パターン認識は、検出された雨の種類に基づいて特別な処理ブランチを動的に活性化する適応サブネットワークルーティング機構を駆動し、多様な降雨条件を扱うためのモデルの能力を大幅に向上させる。
さらに,CLIP-RPNのサブネットワーク内では,複数スケールで正確な降雨マスクを予測するマスク誘導型クロスアテンション機構(MGCA)を導入する。
また,CLIP-RPNの最適化プロセスの勾配を適応的に調整する動的損失スケジューリング機構(DLS)を導入する。
一般的に使われる$l_1$や$l_2$損失と比較して、DLSはネットワークトレーニングプロセスの本質的なダイナミクスとより互換性があり、その結果が向上する。
提案手法は,複数のデータセットにまたがる最先端の性能,特に複雑な混合データセットにおいて優れた性能を実現する。
関連論文リスト
- RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining [14.025870185802463]
我々は,シーケンスレベルのローカル情報をよりよくキャプチャするための,新しいヒルベルト機構を備えた改良されたSSMベースのビデオデライニングネットワーク(RainMamba)を提案する。
また,提案したネットワークのパッチレベルの自己相似学習能力を高めるために,差分誘導動的コントラスト学習戦略を導入する。
論文 参考訳（メタデータ） (2024-07-31T17:48:22Z) - MDeRainNet: An Efficient Neural Network for Rain Streak Removal from Macro-pixel Images [44.83349966064718]
我々は,LF画像から降雨ストリーク除去を行うために,MDeRainNetと呼ばれる効率的なネットワークを提案する。
提案するネットワークはマルチスケールエンコーダデコーダアーキテクチャを採用し, 直接マクロピクセル画像(MPI)を用いて降雨除去性能を向上する。
そこで本研究では,MDeRainNetのための新しい半教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-15T14:47:02Z) - Harnessing Joint Rain-/Detail-aware Representations to Eliminate Intricate Rains [9.6606245317525]
我々は、CNNやTransformerベースのモデルを効率的に制御できるコンテキストベースのインスタンスレベル変調機構を開発する。
また,降雨・降雨・降雨・降雨・降雨の表現を抽出するために,降雨・降雨・降雨対応学習戦略を考案した。
CoI-Mと雨量/深度を意識したコントラスト学習を組み合わせることで、混合データセットのトレーニングモデルに適した、革新的で強力なアルゴリズムであるCoICを開発する。
論文 参考訳（メタデータ） (2024-04-18T11:20:53Z) - TRG-Net: An Interpretable and Controllable Rain Generator [61.2760968459789]
本研究は,降雨の基盤となる物理的発生機構を十分に考慮した,新しい深層学習型降雨発生器を提案する。
その意義は、発電機が予想される雨をシミュレートするために雨の本質的な要素を精巧に設計するだけでなく、複雑で多様な雨のイメージに微妙に適応することにある。
提案した雨発生器が発生した雨は, 高品質であるだけでなく, 排水作業や下流作業にも有効であることを示す。
論文 参考訳（メタデータ） (2024-03-15T03:27:39Z) - Structure-Preserving Deraining with Residue Channel Prior Guidance [33.41254475191555]
多くのハイレベルコンピュータビジョンタスクにおいて、単一画像のデアライニングが重要である。
RCP誘導を用いた構造保存評価ネットワーク(SPDNet)を提案する。
SPDNetは、RCPガイダンスの下で、明瞭で正確な構造を持つ高品質な無雨画像を直接生成する。
論文 参考訳（メタデータ） (2021-08-20T09:09:56Z) - RCDNet: An Interpretable Rain Convolutional Dictionary Network for
Single Image Deraining [49.99207211126791]
雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。
RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。
このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
論文 参考訳（メタデータ） (2021-07-14T16:08:11Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳（メタデータ） (2020-08-08T18:56:51Z) - Structural Residual Learning for Single Image Rain Removal [48.87977695398587]
本研究は,本質的な降雨構造を有するネットワークの出力残余を強制することで,新たなネットワークアーキテクチャを提案する。
このような構造的残差設定は、ネットワークによって抽出された雨層が、一般的な雨害の以前の知識に微妙に従うことを保証している。
論文 参考訳（メタデータ） (2020-05-19T05:52:13Z) - A Model-driven Deep Neural Network for Single Image Rain Removal [52.787356046951494]
完全解釈可能なネットワーク構造を持つモデル駆動型ディープニューラルネットワークを提案する。
雨を表現するための畳み込み辞書学習機構に基づいて,新しい単一画像デレーニングモデルを提案する。
すべてのレインカーネルとオペレータは自動的に抽出され、レイン層とクリーンなバックグラウンド層の両方の特徴を忠実に特徴付けることができる。
論文 参考訳（メタデータ） (2020-05-04T09:13:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。