論文の概要: S3VD: Semantic-Guidance Spatio-Temporal Scanning for Video Deraining

• arxiv url: http://arxiv.org/abs/2609.21322v1
• Date: Fri, 18 Sep 2026 04:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.865718
• Title: S3VD: Semantic-Guidance Spatio-Temporal Scanning for Video Deraining
• Title（参考訳）: S3VD:ビデオデライニングのためのセマンティックガイド比テンポラルスキャン
• Abstract要約: 激しい降雨は、高周波の詳細を破損させ、動きのぼやけを発生させることで、屋外の映像を著しく劣化させる。 状態空間モデル(SSM)は、線形複雑性と長距離依存をモデル化する能力を備えたビジョンタスクの効率的な代替手段として登場した。 本稿では,ビデオデラリニングのためのセマンティック・スポーティカル・テンポラル・スキャン・フレームワークであるSVDを紹介する。 ビデオデラリニングベンチマークの実験では、S3VDの優位性を示し、ガンバベースベースラインよりも平均0.84dBのPSNRの改善を達成している。
• 参考スコア（独自算出の注目度）: 94.11319980472352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heavy rainfall severely degrades outdoor videos by corrupting high-frequency details and introducing motion blur, critically undermining the reliability of visual tasks. Recently, State Space Models (SSMs), particularly Mamba, have emerged as efficient alternatives for vision tasks with their linear complexity and ability to model long-range dependencies. However, when confronted with the poor visual representations in rainy videos, Mamba still faces difficulties in preserving the integrity of 2D spatial semantics and modeling 3D spatio-temporal correlations. To break these limitations, we introduce S3VD, a Semantic-Guidance Spatio-Temporal Scanning framework for video deraining, featuring two key innovations: Multi-Scale Semantic Fusion (MSSF) Module and Spatio-Temporal Scanning Fusion (STSF) Module. The former integrates temporal semantic priors from DINOv2 to guide precise feature representation and counteract the loss of local semantic context inherent to Mamba's 1D flatten operation, enhancing robustness against extreme degradation. The latter introduces a spatio-temporal scanning mechanism and devises a Decoupled-Gating Mamba (DG-Mamba) layer, which employs two independent gates to adaptively control preceding and subsequent contextual information within the input clip, optimizing intra-frame and inter-frame correlation modeling. Experiments on video deraining benchmarks demonstrate the superiority of S3VD, achieving state-of-the-art performance with an average 0.84 dB PSNR improvement over Mamba-based baselines.
• Abstract（参考訳）: 激しい降雨は、高頻度の細部を破損させ、動きのぼかしを導入し、視覚的タスクの信頼性を著しく損なうことによって、屋外の映像を著しく劣化させる。 最近、状態空間モデル(SSM)、特にMambaは、線形複雑性と長距離依存をモデル化する能力を備えたビジョンタスクの効率的な代替手段として登場した。 しかし、雨天ビデオの視覚表現が貧弱な場合、マンバは2次元空間意味論の整合性の維持と3次元時空間相関のモデル化に依然として困難に直面している。 これらの制限を断ち切るために,ビデオデラリニングのためのセマンティック・ガイダンス・スパパティカル・テンポラル・スキャン・フレームワークであるS3VDを紹介し,マルチスケール・セマンティック・フュージョン(MSSF)モジュールとスポティカル・テンポラル・スキャン・フュージョン(STSF)モジュールの2つの重要なイノベーションを特徴としている。 前者はDINOv2からの時間的意味的先行を統合し、正確な特徴表現を導き、Mambaの1D平坦な操作に固有の局所意味的コンテキストの喪失を防ぎ、極端な劣化に対する堅牢性を高める。 後者は時空間走査機構を導入し、DG-Mamba(Decoupled-Gating Mamba)層を設計し、2つの独立したゲートを用いて、入力クリップ内の前後のコンテキスト情報を適応的に制御し、フレーム内およびフレーム間相関モデリングを最適化する。 ビデオデラリニングベンチマークの実験では、S3VDの優位性を示し、ガンバベースベースラインよりも平均0.84dBのPSNRの改善を達成している。

関連論文リスト

• MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection [108.36437360254605]
  本稿では,マルチクラス非教師付き異常検出に適したフレームワークであるMambaADv2を提案する。 MambaADv2は、事前訓練されたエンコーダと、複数のスケールにわたるDuality-enhanced State Space (DSS)モジュールを備えたMambaインスパイアされたデコーダで構成される。 HSS(Hybrid State Space)ブロックの構造は、SSDベースのMambaラインに従って調整され、Mamba3スタイルの位置認識状態空間モデリングが組み込まれている。
  論文  参考訳（メタデータ） (2026-06-22T10:14:06Z)
• Towards Geometry-Aware and Motion-Guided Video Human Mesh Recovery [60.51998732898099]
  HMRMambaは3Dヒューマンメッシュリカバリのための新しいパラダイムである。 構造状態空間モデル(Structured State Space Models)をその効率性と長距離モデリングに利用した先駆者である。 まず、新しいデュアルスキャンのMambaアーキテクチャを特徴とするGeometry-Aware Lifting Moduleについて述べる。
  論文  参考訳（メタデータ） (2026-01-29T08:05:02Z)
• M2S2L: Mamba-based Multi-Scale Spatial-temporal Learning for Video Anomaly Detection [18.108479842983822]
  ビデオ異常検出(VAD)は,映像監視に期待する画像処理コミュニティにおいて重要な課題である。 従来のVADアプローチは、現代の監視システムに対して堅牢な評価を提供するのに苦労している。 本稿では,マンバをベースとしたマルチスケール空間時間学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-04T04:00:23Z)
• Trajectory-aware Shifted State Space Models for Online Video Super-Resolution [57.87099307245989]
  本稿では、トラジェクトリ対応シフトSSM(TS-Mamba)に基づく新しいオンラインVSR手法を提案する。 TS-Mambaは、最初にビデオ内の軌跡を構築し、以前のフレームから最もよく似たトークンを選択する。 私たちのTS-Mambaは、ほとんどのケースで最先端のパフォーマンスを実現し、22.7%以上の削減複雑性(MAC)を実現しています。
  論文  参考訳（メタデータ） (2025-08-14T08:42:15Z)
• Multi-granular body modeling with Redundancy-Free Spatiotemporal Fusion for Text-Driven Motion Generation [10.843503146808839]
  HiSTF Mambaを3つの部分からなるフレームワークとして紹介する: Dual-tial Mamba, Bi-Temporal Mamba, Spatiotemporal Fusion Module (DSFM)。 HumanML3Dベンチマークの実験では、HiSTF Mambaはいくつかの指標でよく機能し、高い忠実さとテキストとモーション間の密接なセマンティックアライメントを実現している。
  論文  参考訳（メタデータ） (2025-03-10T04:01:48Z)
• MS-Temba : Multi-Scale Temporal Mamba for Efficient Temporal Action Detection [11.534493974662304]
  未トリミングビデオにおける時間的行動検出(TAD)は、長期保存ビデオを効率的に処理できるモデルを必要とする。 我々は,多スケールテンポラルマンバ (MS-Temba) を提案する。 MS-Tembaは、長期ビデオの最先端のパフォーマンスを達成し、短いセグメントで競争力を維持し、モデルの複雑さを88%削減する。
  論文  参考訳（メタデータ） (2025-01-10T17:52:47Z)
• STNMamba: Mamba-based Spatial-Temporal Normality Learning for Video Anomaly Detection [48.997518615379995]
  ビデオ異常検出(VAD)は、インテリジェントなビデオシステムの可能性から広く研究されている。 CNNやトランスフォーマーをベースとした既存の手法の多くは、依然としてかなりの計算負荷に悩まされている。 空間的時間的正規性の学習を促進するために,STNMambaという軽量で効果的なネットワークを提案する。
  論文  参考訳（メタデータ） (2024-12-28T08:49:23Z)
• Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
  テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。 これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。 我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。