論文の概要: Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining

• arxiv url: http://arxiv.org/abs/2505.16811v1
• Date: Thu, 22 May 2025 15:50:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.417497
• Title: Semi-Supervised State-Space Model with Dynamic Stacking Filter for Real-World Video Deraining
• Title（参考訳）: 動的重ね合わせフィルタを用いた実世界ビデオレイニングのための半監督状態空間モデル
• Authors: Shangquan Sun, Wenqi Ren, Juxiang Zhou, Shu Wang, Jianhou Gan, Xiaochun Cao,
• Abstract要約: 本稿では,ビデオシーケンスにおけるストリーク除去を改善するために,2分岐時間状態空間モデルを提案する。 マルチフレーム機能融合を改善するために,画素ワイド機能改善のための統計的フィルタを適応的に近似する動的フィルタ積層法を提案する。 降雨環境における他の視覚に基づくタスクを支援する上でのデラミニングモデルの能力をさらに探求するため,我々は新しい実世界ベンチマークを導入する。
• 参考スコア（独自算出の注目度）: 73.5575992346396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Significant progress has been made in video restoration under rainy conditions over the past decade, largely propelled by advancements in deep learning. Nevertheless, existing methods that depend on paired data struggle to generalize effectively to real-world scenarios, primarily due to the disparity between synthetic and authentic rain effects. To address these limitations, we propose a dual-branch spatio-temporal state-space model to enhance rain streak removal in video sequences. Specifically, we design spatial and temporal state-space model layers to extract spatial features and incorporate temporal dependencies across frames, respectively. To improve multi-frame feature fusion, we derive a dynamic stacking filter, which adaptively approximates statistical filters for superior pixel-wise feature refinement. Moreover, we develop a median stacking loss to enable semi-supervised learning by generating pseudo-clean patches based on the sparsity prior of rain. To further explore the capacity of deraining models in supporting other vision-based tasks in rainy environments, we introduce a novel real-world benchmark focused on object detection and tracking in rainy conditions. Our method is extensively evaluated across multiple benchmarks containing numerous synthetic and real-world rainy videos, consistently demonstrating its superiority in quantitative metrics, visual quality, efficiency, and its utility for downstream tasks.
• Abstract（参考訳）: 過去10年間に降雨条件下での映像復元は大きな進歩を遂げており、主にディープラーニングの進歩によって推進されている。 それでも、ペア化されたデータに依存する既存の手法は、主に合成雨と真正降雨の相違により、現実のシナリオに効果的に一般化するのに苦労している。 これらの制約に対処するため、ビデオシーケンスにおけるストリーク除去を強化するために、二重分岐時空間モデルを提案する。 具体的には、空間的特徴を抽出し、フレーム間の時間的依存関係をそれぞれ組み込む空間的状態空間モデル層と時間的状態空間モデル層を設計する。 マルチフレーム機能融合を改善するために,より優れた画素ワイド機能改善のための統計的フィルタを適応的に近似する動的積み重ねフィルタを考案した。 さらに,降雨前の空間性に基づいて擬似クリーンパッチを生成することで,半教師付き学習を可能にするため,中央値の積み上げ損失を発生させる。 雨環境下での他の視覚に基づくタスクを支援する上でのデラジングモデルの能力をさらに探求するために,雨環境下での物体の検出と追跡に焦点をあてた,新しい実世界のベンチマークを導入する。 提案手法は,多数の合成および実世界の降雨映像を含む複数のベンチマークにおいて広く評価され,定量的指標,視覚的品質,効率,下流作業における有効性などにおいて,その優位性を一貫して示している。

関連論文リスト

• SpikeDerain: Unveiling Clear Videos from Rainy Sequences Using Color Spike Streams [49.34425133546994]
  雨の映像から鮮明なフレームを復元することは、暴風雨の急激な動きによって大きな課題となる。 従来のフレームベースの視覚センサーは、シーンのコンテンツを同期的にキャプチャする。 本研究では,ダイナミックシーンのスパイクストリームを再構築し,雨害を正確に除去できるカラースパイクストリームレイニングネットワーク(SpikeDerain)を提案する。
  論文  参考訳（メタデータ） (2025-03-26T08:28:28Z)
• RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining [14.025870185802463]
  我々は,シーケンスレベルのローカル情報をよりよくキャプチャするための,新しいヒルベルト機構を備えた改良されたSSMベースのビデオデライニングネットワーク(RainMamba)を提案する。 また,提案したネットワークのパッチレベルの自己相似学習能力を高めるために,差分誘導動的コントラスト学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:22Z)
• RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering [50.14860376758962]
  多視点降雨画像の集合からクリーンなシーンを再構築するための教師なしフレームワークであるRainyScapeを提案する。 ニューラルネットワークのスペクトルバイアス特性に基づいて、まずニューラルネットワークのレンダリングパイプラインを最適化し、低周波シーン表現を得る。 我々は2つのモジュールを協調的に最適化し,適応的指向性勾配に基づく再構成損失によって駆動する。
  論文  参考訳（メタデータ） (2024-04-17T14:07:22Z)
• Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model [51.49854435403139]
  本研究では,拡散モデルに基づく最初の実世界の画像デライニングパラダイムであるRainDiffを提案する。 安定的で非敵対的なサイクル一貫性のあるアーキテクチャを導入し、トレーニングをエンドツーエンドで行えます。 また,複数の降雨の先行学習によって条件付けられた拡散生成過程を通じて,所望の出力を洗練する劣化条件拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-01-23T13:34:01Z)
• Uncertainty-Aware Cascaded Dilation Filtering for High-Efficiency Deraining [25.669665033163497]
  レイニングは、雨の日に撮影された画像やビデオから雨の流れや蓄積を取り除くことを目的とした、重要かつ基本的なコンピュータビジョンタスクである。 既存のデラリニング法は通常、雨モデルの仮定を行い、複雑な最適化や、高い回復品質のために反復的な改善を施すことを補完する。 本研究では, 複雑な降雨モデル仮定を伴わない予測フィルタ問題として, 簡易かつ効率的なデライニング法を提案する。
  論文  参考訳（メタデータ） (2022-01-07T08:31:57Z)
• Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
  本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。 具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。 ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
  論文  参考訳（メタデータ） (2021-03-14T14:28:57Z)
• From Rain Generation to Rain Removal [67.71728610434698]
  雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。 降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。 総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
  論文  参考訳（メタデータ） (2020-08-08T18:56:51Z)
• Rain Streak Removal in a Video to Improve Visibility by TAWL Algorithm [12.056495277232118]
  本研究では, 熱帯雨林の時間的外観, 広角形状, 相対的な位置に着目した3つの新しい抽出特徴を組み合わせる手法を提案する。 TAWL法では,異なる解像度とフレームレートの特徴を適応的に利用し,雨をリアルタイムに除去する。 実雨と合成雨の両方の映像シーケンスを用いて実験を行い, 提案手法の性能を関連する最先端手法と比較した。
  論文  参考訳（メタデータ） (2020-07-10T05:07:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。