論文の概要: RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining
- arxiv url: http://arxiv.org/abs/2407.21773v2
- Date: Wed, 11 Sep 2024 17:47:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 20:22:30.385787
- Title: RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining
- Title（参考訳）: RainMamba: ビデオレイアウトのためのステートスペースモデルによるローカル学習の強化
- Authors: Hongtao Wu, Yijun Yang, Huihui Xu, Weiming Wang, Jinni Zhou, Lei Zhu,
- Abstract要約: 我々は,シーケンスレベルのローカル情報をよりよくキャプチャするための,新しいヒルベルト機構を備えた改良されたSSMベースのビデオデライニングネットワーク(RainMamba)を提案する。
また,提案したネットワークのパッチレベルの自己相似学習能力を高めるために,差分誘導動的コントラスト学習戦略を導入する。
- 参考スコア（独自算出の注目度）: 14.025870185802463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The outdoor vision systems are frequently contaminated by rain streaks and raindrops, which significantly degenerate the performance of visual tasks and multimedia applications. The nature of videos exhibits redundant temporal cues for rain removal with higher stability. Traditional video deraining methods heavily rely on optical flow estimation and kernel-based manners, which have a limited receptive field. Yet, transformer architectures, while enabling long-term dependencies, bring about a significant increase in computational complexity. Recently, the linear-complexity operator of the state space models (SSMs) has contrarily facilitated efficient long-term temporal modeling, which is crucial for rain streaks and raindrops removal in videos. Unexpectedly, its uni-dimensional sequential process on videos destroys the local correlations across the spatio-temporal dimension by distancing adjacent pixels. To address this, we present an improved SSMs-based video deraining network (RainMamba) with a novel Hilbert scanning mechanism to better capture sequence-level local information. We also introduce a difference-guided dynamic contrastive locality learning strategy to enhance the patch-level self-similarity learning ability of the proposed network. Extensive experiments on four synthesized video deraining datasets and real-world rainy videos demonstrate the effectiveness and efficiency of our network in the removal of rain streaks and raindrops. Our code and results are available at https://github.com/TonyHongtaoWu/RainMamba.
- Abstract（参考訳）: 屋外の視覚システムは、しばしばレインストリークやレインドロップによって汚染され、視覚タスクやマルチメディアアプリケーションの性能を著しく低下させる。
ビデオの性質は、より安定性の高い雨除去のための冗長な時間的手がかりを示す。
従来のビデオデラリニング手法は、受容場が限られている光フロー推定やカーネルベースの手法に大きく依存している。
しかし、トランスフォーマーアーキテクチャは、長期的な依存関係を実現する一方で、計算複雑性を著しく増加させます。
近年、状態空間モデル(SSM)の線形複雑度演算子は、ビデオにおける雨害や雨滴除去に欠かせない、効率的な長期時間モデリングを促進している。
ビデオ上の一次元のシーケンシャルプロセスは、隣接するピクセルを分散することにより、時空間の局所的相関を破壊します。
そこで本研究では,新しいヒルベルトスキャン機構により,SSMに基づくビデオデライニングネットワーク(RainMamba)を改良し,シーケンスレベルのローカル情報をよりよくキャプチャする。
また,提案したネットワークのパッチレベルの自己相似学習能力を高めるために,差分誘導動的コントラスト学習戦略を導入する。
4つの合成ビデオデラミニングデータセットと実世界の雨天ビデオによる大規模な実験は、雨天や雨水滴の除去における我々のネットワークの有効性と効率を実証している。
私たちのコードと結果はhttps://github.com/TonyHongtaoWu/RainMamba.comで公開されています。
関連論文リスト
- Image Deraining with Frequency-Enhanced State Space Model [2.9465623430708905]
本研究では,画像デライニングによる画像デライニングにSSMを導入し,DFSSM(Deraining Frequency-Enhanced State Space Model)を提案する。
我々は,複数のカーネルサイズを持つ畳み込みを用いて,様々なスケールの劣化を効果的に捕捉する,新しい混合スケールゲート畳み込みブロックを開発した。
合成および実世界の雨天画像データセットの実験により,我々の手法が最先端の手法を超越していることが判明した。
論文 参考訳（メタデータ） (2024-05-26T07:45:12Z) - RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering [50.14860376758962]
多視点降雨画像の集合からクリーンなシーンを再構築するための教師なしフレームワークであるRainyScapeを提案する。
ニューラルネットワークのスペクトルバイアス特性に基づいて、まずニューラルネットワークのレンダリングパイプラインを最適化し、低周波シーン表現を得る。
我々は2つのモジュールを協調的に最適化し,適応的指向性勾配に基づく再構成損失によって駆動する。
論文 参考訳（メタデータ） (2024-04-17T14:07:22Z) - EGVD: Event-Guided Video Deraining [57.59935209162314]
本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。
雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
論文 参考訳（メタデータ） (2023-09-29T13:47:53Z) - Towards General and Fast Video Derain via Knowledge Distillation [10.614356931086267]
我々は知識蒸留(RRGNet)による一般ビデオデラインネットワークを提案する。
ビデオの時間情報をフル活用するフレームグルーピング方式のエンコーダデコーダネットワークを設計する。
ネットワークのデライン機能を強化するために,現在のモデルのために古いタスクからのデータを再生するためのレインレビューモジュールを設計する。
論文 参考訳（メタデータ） (2023-08-10T05:27:43Z) - Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。
既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。
L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
論文 参考訳（メタデータ） (2023-05-06T10:17:42Z) - RCDNet: An Interpretable Rain Convolutional Dictionary Network for
Single Image Deraining [49.99207211126791]
雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。
RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。
このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
論文 参考訳（メタデータ） (2021-07-14T16:08:11Z) - Enhanced Spatio-Temporal Interaction Learning for Video Deraining: A
Faster and Better Framework [93.37833982180538]
不要な雨がビデオの可視性を阻害し、ほとんどの屋外ビジョンシステムの堅牢性を低下させるため、ビデオ排水はコンピュータビジョンの重要なタスクです。
拡張時空間相互作用ネットワーク(ESTINet)と呼ばれる新しいエンドツーエンドのデラミニングフレームワークを提案する。
ESTINetは、現在の最先端ビデオの画質とスピードを大幅に向上させる。
論文 参考訳（メタデータ） (2021-03-23T05:19:35Z) - Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。
具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。
ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
論文 参考訳（メタデータ） (2021-03-14T14:28:57Z) - Rain Streak Removal in a Video to Improve Visibility by TAWL Algorithm [12.056495277232118]
本研究では, 熱帯雨林の時間的外観, 広角形状, 相対的な位置に着目した3つの新しい抽出特徴を組み合わせる手法を提案する。
TAWL法では,異なる解像度とフレームレートの特徴を適応的に利用し,雨をリアルタイムに除去する。
実雨と合成雨の両方の映像シーケンスを用いて実験を行い, 提案手法の性能を関連する最先端手法と比較した。
論文 参考訳（メタデータ） (2020-07-10T05:07:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。