論文の概要: SpikeDerain: Unveiling Clear Videos from Rainy Sequences Using Color Spike Streams

• arxiv url: http://arxiv.org/abs/2503.20315v1
• Date: Wed, 26 Mar 2025 08:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:20:29.351833
• Title: SpikeDerain: Unveiling Clear Videos from Rainy Sequences Using Color Spike Streams
• Title（参考訳）: SpikeDerain:カラースパイクストリームを使って雨のシーケンスから透明なビデオを公開
• Authors: Hanwen Liang, Xian Zhong, Wenxuan Liu, Yajing Zheng, Wenxin Huang, Zhaofei Yu, Tiejun Huang,
• Abstract要約: 雨の映像から鮮明なフレームを復元することは、暴風雨の急激な動きによって大きな課題となる。 従来のフレームベースの視覚センサーは、シーンのコンテンツを同期的にキャプチャする。 本研究では,ダイナミックシーンのスパイクストリームを再構築し,雨害を正確に除去できるカラースパイクストリームレイニングネットワーク(SpikeDerain)を提案する。
• 参考スコア（独自算出の注目度）: 49.34425133546994
• License:
• Abstract: Restoring clear frames from rainy videos presents a significant challenge due to the rapid motion of rain streaks. Traditional frame-based visual sensors, which capture scene content synchronously, struggle to capture the fast-moving details of rain accurately. In recent years, neuromorphic sensors have introduced a new paradigm for dynamic scene perception, offering microsecond temporal resolution and high dynamic range. However, existing multimodal methods that fuse event streams with RGB images face difficulties in handling the complex spatiotemporal interference of raindrops in real scenes, primarily due to hardware synchronization errors and computational redundancy. In this paper, we propose a Color Spike Stream Deraining Network (SpikeDerain), capable of reconstructing spike streams of dynamic scenes and accurately removing rain streaks. To address the challenges of data scarcity in real continuous rainfall scenes, we design a physically interpretable rain streak synthesis model that generates parameterized continuous rain patterns based on arbitrary background images. Experimental results demonstrate that the network, trained with this synthetic data, remains highly robust even under extreme rainfall conditions. These findings highlight the effectiveness and robustness of our method across varying rainfall levels and datasets, setting new standards for video deraining tasks. The code will be released soon.
• Abstract（参考訳）: 雨の動画から鮮明なフレームを復元することは、暴風雨の急激な動きによって大きな課題となる。 従来のフレームベースの視覚センサーは、シーンのコンテンツを同期的にキャプチャする。 近年、ニューロモルフィックセンサーは、マイクロ秒時間分解能と高ダイナミックレンジを提供する動的なシーン知覚の新しいパラダイムを導入している。 しかし、RGB画像とイベントストリームを融合する既存のマルチモーダル手法は、主にハードウェア同期エラーと計算冗長性のために、実際のシーンにおける雨滴の複雑な時空間干渉を扱うのに困難に直面している。 本稿では,ダイナミックシーンのスパイクストリームを再構築し,雨害を正確に除去できるカラースパイクストリームレイニングネットワーク(SpikeDerain)を提案する。 実際の連続降雨シーンにおけるデータ不足の課題を解決するため,任意の背景画像に基づいてパラメータ化された連続降雨パターンを生成する物理的に解釈可能な降雨ストリーク合成モデルを構築した。 実験の結果、この合成データを用いて訓練されたネットワークは、極端な降雨条件下であっても、非常に堅牢であることがわかった。 これらの結果は,降雨量やデータセットの異なる手法の有効性とロバスト性を強調し,ビデオデコライニングタスクの新たな標準を設定した。 コードはまもなくリリースされる。

関連論文リスト

• RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining [14.025870185802463]
  我々は,シーケンスレベルのローカル情報をよりよくキャプチャするための,新しいヒルベルト機構を備えた改良されたSSMベースのビデオデライニングネットワーク(RainMamba)を提案する。 また,提案したネットワークのパッチレベルの自己相似学習能力を高めるために,差分誘導動的コントラスト学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:22Z)
• EGVD: Event-Guided Video Deraining [57.59935209162314]
  本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。 雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
  論文  参考訳（メタデータ） (2023-09-29T13:47:53Z)
• Towards General and Fast Video Derain via Knowledge Distillation [10.614356931086267]
  我々は知識蒸留(RRGNet)による一般ビデオデラインネットワークを提案する。 ビデオの時間情報をフル活用するフレームグルーピング方式のエンコーダデコーダネットワークを設計する。 ネットワークのデライン機能を強化するために,現在のモデルのために古いタスクからのデータを再生するためのレインレビューモジュールを設計する。
  論文  参考訳（メタデータ） (2023-08-10T05:27:43Z)
• Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark [57.85378202032541]
  暗闇の中での雨は、自律運転や監視システム、夜間写真など、現実世界のアプリケーションをデプロイする上で大きな課題となる。 既存の低照度化や除染法は、低照度を明るくし、同時に雨を取り除くのに苦労する。 L$2$RIRNetと呼ばれるエンド・ツー・エンドのモデルを導入する。
  論文  参考訳（メタデータ） (2023-05-06T10:17:42Z)
• Not Just Streaks: Towards Ground Truth for Single Image Deraining [42.15398478201746]
  実世界の雨天とクリーンなイメージペアの大規模データセットを提案する。 本稿では,雨天と清潔な画像の間の雨害損失を最小限に抑え,基盤となるシーンを再構築するディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-22T00:10:06Z)
• Semi-MoreGAN: A New Semi-supervised Generative Adversarial Network for Mixture of Rain Removal [18.04268933542476]
  降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水・降水) セミモレGANは、4つの重要なモジュールで構成されている: (I) 正確な深度推定を提供する新しい注意深度予測ネットワーク、 (ii) 詳細な画像コンテキスト特徴を生成するためによく設計された詳細残差ブロックで構成されたコンテキスト特徴予測ネットワーク、 (iii) ピラミッド深度誘導非局所ネットワークにより画像コンテキストを深度情報と有効に統合し、最終雨量のない画像を生成する、 (iv) モデルに制限を加えるための包括的な半教師付き損失関数。
  論文  参考訳（メタデータ） (2022-04-28T11:35:26Z)
• RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining [49.99207211126791]
  雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。 RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。 このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
  論文  参考訳（メタデータ） (2021-07-14T16:08:11Z)
• Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
  本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。 具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。 ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
  論文  参考訳（メタデータ） (2021-03-14T14:28:57Z)
• Structural Residual Learning for Single Image Rain Removal [48.87977695398587]
  本研究は,本質的な降雨構造を有するネットワークの出力残余を強制することで,新たなネットワークアーキテクチャを提案する。 このような構造的残差設定は、ネットワークによって抽出された雨層が、一般的な雨害の以前の知識に微妙に従うことを保証している。
  論文  参考訳（メタデータ） (2020-05-19T05:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。