論文の概要: EGVD: Event-Guided Video Deraining

• arxiv url: http://arxiv.org/abs/2309.17239v1
• Date: Fri, 29 Sep 2023 13:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 13:43:31.853220
• Title: EGVD: Event-Guided Video Deraining
• Title（参考訳）: EGVD:イベントガイド付きビデオレイニング
• Authors: Yueyi Zhang, Jin Wang, Wenming Weng, Xiaoyan Sun, Zhiwei Xiong
• Abstract要約: 本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。 雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
• 参考スコア（独自算出の注目度）: 57.59935209162314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid development of deep learning, video deraining has experienced significant progress. However, existing video deraining pipelines cannot achieve satisfying performance for scenes with rain layers of complex spatio-temporal distribution. In this paper, we approach video deraining by employing an event camera. As a neuromorphic sensor, the event camera suits scenes of non-uniform motion and dynamic light conditions. We propose an end-to-end learning-based network to unlock the potential of the event camera for video deraining. First, we devise an event-aware motion detection module to adaptively aggregate multi-frame motion contexts using event-aware masks. Second, we design a pyramidal adaptive selection module for reliably separating the background and rain layers by incorporating multi-modal contextualized priors. In addition, we build a real-world dataset consisting of rainy videos and temporally synchronized event streams. We compare our method with extensive state-of-the-art methods on synthetic and self-collected real-world datasets, demonstrating the clear superiority of our method. The code and dataset are available at \url{https://github.com/booker-max/EGVD}.
• Abstract（参考訳）: ディープラーニングの急速な発展により、ビデオデラリニングは大きな進歩を遂げた。 しかし, 複雑な時空間分布の降雨層を有するシーンでは, 既存のビデオデラリニングパイプラインは満足のいく性能を達成できない。 本稿では,イベントカメラを用いて映像のデライニングにアプローチする。 ニューロモルフィックセンサーとして、イベントカメラは不均一な動きと動的光条件のシーンに適合する。 そこで本稿では,イベントカメラの可能性を解き明かすために,エンド・ツー・エンドの学習ベースネットワークを提案する。 まず,イベントアウェアマスクを用いたマルチフレーム動作コンテキストを適応的に集約するイベントアウェア動作検出モジュールを開発した。 第2に,マルチモーダル・コンテキスト化前処理を取り入れることで,背景層と雨層を確実に分離するピラミッド型適応選択モジュールを設計した。 さらに,雨のビデオと時間同期イベントストリームからなる実世界のデータセットを構築する。 本手法を総合的および自己収集型実世界データセットの広範な最先端手法と比較し,提案手法の明らかな優越性を示す。 コードとデータセットは \url{https://github.com/booker-max/egvd} で利用可能である。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
  ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。 1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。 提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-27T10:09:17Z)
• RainMamba: Enhanced Locality Learning with State Space Models for Video Deraining [14.025870185802463]
  我々は,シーケンスレベルのローカル情報をよりよくキャプチャするための,新しいヒルベルト機構を備えた改良されたSSMベースのビデオデライニングネットワーク(RainMamba)を提案する。 また,提案したネットワークのパッチレベルの自己相似学習能力を高めるために,差分誘導動的コントラスト学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:22Z)
• Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
  本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。 提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
  論文  参考訳（メタデータ） (2023-11-30T18:59:23Z)
• DropMAE: Masked Autoencoders with Spatial-Attention Dropout for Tracking Tasks [76.24996889649744]
  Masked Autoencoder (MAE) Pretraining on video for matching-based downstream task, including visual object tracking (VOT) and video object segmentation (VOS) そこで我々は,映像における時間的対応学習を容易にするために,フレーム再構成において空間的アテンション・ドロップアウトを適応的に行うDropMAEを提案する。 本モデルは,9つの競争力のあるビデオ追跡とセグメンテーションデータセットのうち8つに,最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2023-04-02T16:40:42Z)
• Feature-Aligned Video Raindrop Removal with Temporal Constraints [68.49161092870224]
  雨滴除去は、単一画像とビデオの両方において困難である。 熱帯雨林とは異なり、雨滴は複数のフレームで同じ地域を覆う傾向にある。 本手法では,2段階の降雨量除去手法を用いる。
  論文  参考訳（メタデータ） (2022-05-29T05:42:14Z)
• Event-guided Deblurring of Unknown Exposure Time Videos [31.992673443516235]
  イベントカメラは、高時間分解能で見かけの動きを捉えることができる。 本稿では,イベント特徴を選択的に利用するための新しい露光時間に基づくイベント選択モジュールを提案する。 本手法は最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-13T19:46:17Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。