論文の概要: RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics

• arxiv url: http://arxiv.org/abs/2607.13802v1
• Date: Wed, 15 Jul 2026 13:08:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.779901
• Title: RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics
• Title（参考訳）: RainDancer:Rain-Oriented Spiking Dynamicsを使ったRGBイベントビデオのデライニング
• Abstract要約: ビデオデラリニングは、悪天候下での信頼性の高い知覚のために、雨の多いビデオからクリーンな視覚コンテンツを回復することを目的としている。 既存の手法は主にRGBシーケンスと時間的冗長性に依存しているが、動的雨の場面ではRGBのみの復元はあいまいである。 本研究では,分解前相互作用パラダイムに基づくプログレッシブなRGBイベントビデオデライニングフレームワークであるRainDancerを提案する。
• 参考スコア（独自算出の注目度）: 93.19893734404417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video deraining aims to recover clean visual content from rainy videos for reliable perception under adverse weather. Existing methods mainly rely on RGB sequences and temporal redundancy, but RGB-only restoration remains ambiguous in dynamic rainy scenes, where rain streaks, textures, boundaries, motion, and occlusions may share similar visual patterns. Event cameras provide complementary motion-sensitive cues with high temporal resolution, but event streams also contain sensor noise and background-triggered responses, so direct RGB-Event fusion may introduce cross-modal interference. To address this issue, we propose RainDancer, a progressive RGB-Event video deraining framework based on a decompose-before-interact paradigm. The core idea is to separate rain and background components within each modality before cross-modal interaction. In the RGB branch, frame features are progressively decomposed into rain and background representations. In the event branch, a rain-oriented spiking neural network module captures sparse and bursty event dynamics associated with rain motion. Component-level fusion is then performed between semantically aligned representations for structure preservation and rain suppression. We further introduce event-domain supervision to regularize sparse event reconstruction, structural consistency, and gradient orientation. Experiments on synthetic and real RGB-Event video deraining datasets demonstrate superior quantitative performance, visual quality, and downstream perception robustness. Code is available at https://github.com/AE86-plus/RainDancer.
• Abstract（参考訳）: ビデオデラリニングは、悪天候下での信頼性の高い知覚のために、雨の多いビデオからクリーンな視覚コンテンツを回復することを目的としている。 既存の方法は、主にRGBシーケンスと時間的冗長性に依存しているが、RGBのみの復元は、雨のストリーク、テクスチャ、境界、動き、オクルージョンが類似した視覚パターンを共有する動的な雨のシーンではあいまいである。 イベントカメラは、高時間分解能の相補的なモーションセンシティブキューを提供するが、イベントストリームにはセンサーノイズやバックグラウンドトリガー応答が含まれており、直接RGB-Event融合は相互干渉をもたらす可能性がある。 この問題に対処するために,分解前相互作用パラダイムに基づくプログレッシブなRGBイベントビデオデザイニングフレームワークであるRainDancerを提案する。 中心となる考え方は、雨と背景のコンポーネントを、モーダル間の相互作用の前に各モードで分離することである。 RGBブランチでは、フレーム機能は徐々に雨と背景の表現に分解される。 イベントブランチでは、雨向きのスパイクニューラルネットワークモジュールが、雨の動きに関連するスパースとバーストのイベントダイナミクスをキャプチャする。 次に, 構造保存のための意味的整合表現と降雨抑制の間に, 成分レベルの融合を行う。 さらに、スパースイベント再構成、構造整合性、勾配方向を規則化するイベントドメイン監視を導入する。 合成および実RGBイベントビデオデラミニングデータセットの実験は、優れた量的性能、視覚的品質、下流の知覚ロバスト性を示す。 コードはhttps://github.com/AE86-plus/RainDancer.comで入手できる。

関連論文リスト

• ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression [16.49973800168176]
  学習ビデオ圧縮のためのイベント支援補足運動再構成フレームワーク ENCOREは最大20.80%のPSNR-RGBと22.14%のMS-SSIM-RGBのBDレートを達成している。 BS-ERGB、HQ-EVFI、CEDに関する実験は、データセットとGOPの長さで一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-07-30T11:10:13Z)
• Spatio-Temporal Difference Guided Motion Deblurring with the Complementary Vision Sensor [12.418360718687026]
  動きのぼかしは露光期間中に急激なシーン変化が起こると発生し、リッチな露光中の動きを1つのRGBフレームに崩壊させる。 本稿では,RGB入力のぼやけた構造や色の詳細を復元するために,時空間差ガイドデブロアネット(STGDNet)を提案する。 提案手法は,合成CVSデータセットと実世界評価の両方において,現在のRGBやイベントベースのアプローチよりも優れている。
  論文  参考訳（メタデータ） (2026-04-12T09:54:14Z)
• SpikeDerain: Unveiling Clear Videos from Rainy Sequences Using Color Spike Streams [49.34425133546994]
  雨の映像から鮮明なフレームを復元することは、暴風雨の急激な動きによって大きな課題となる。 従来のフレームベースの視覚センサーは、シーンのコンテンツを同期的にキャプチャする。 本研究では,ダイナミックシーンのスパイクストリームを再構築し,雨害を正確に除去できるカラースパイクストリームレイニングネットワーク(SpikeDerain)を提案する。
  論文  参考訳（メタデータ） (2025-03-26T08:28:28Z)
• RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining [14.025870185802463]
  我々は,シーケンスレベルのローカル情報をよりよくキャプチャするための,新しいヒルベルト機構を備えた改良されたSSMベースのビデオデライニングネットワーク(RainMamba)を提案する。 また,提案したネットワークのパッチレベルの自己相似学習能力を高めるために,差分誘導動的コントラスト学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:22Z)
• RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering [50.14860376758962]
  多視点降雨画像の集合からクリーンなシーンを再構築するための教師なしフレームワークであるRainyScapeを提案する。 ニューラルネットワークのスペクトルバイアス特性に基づいて、まずニューラルネットワークのレンダリングパイプラインを最適化し、低周波シーン表現を得る。 我々は2つのモジュールを協調的に最適化し,適応的指向性勾配に基づく再構成損失によって駆動する。
  論文  参考訳（メタデータ） (2024-04-17T14:07:22Z)
• EGVD: Event-Guided Video Deraining [57.59935209162314]
  本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。 雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
  論文  参考訳（メタデータ） (2023-09-29T13:47:53Z)
• Feature-Aligned Video Raindrop Removal with Temporal Constraints [68.49161092870224]
  雨滴除去は、単一画像とビデオの両方において困難である。 熱帯雨林とは異なり、雨滴は複数のフレームで同じ地域を覆う傾向にある。 本手法では,2段階の降雨量除去手法を用いる。
  論文  参考訳（メタデータ） (2022-05-29T05:42:14Z)
• RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining [49.99207211126791]
  雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。 RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。 このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
  論文  参考訳（メタデータ） (2021-07-14T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。