論文の概要: EGVD: Event-Guided Video Deraining
- arxiv url: http://arxiv.org/abs/2309.17239v1
- Date: Fri, 29 Sep 2023 13:47:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 13:43:31.853220
- Title: EGVD: Event-Guided Video Deraining
- Title(参考訳): EGVD:イベントガイド付きビデオレイニング
- Authors: Yueyi Zhang, Jin Wang, Wenming Weng, Xiaoyan Sun, Zhiwei Xiong
- Abstract要約: 本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。
雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
- 参考スコア(独自算出の注目度): 57.59935209162314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid development of deep learning, video deraining has experienced
significant progress. However, existing video deraining pipelines cannot
achieve satisfying performance for scenes with rain layers of complex
spatio-temporal distribution. In this paper, we approach video deraining by
employing an event camera. As a neuromorphic sensor, the event camera suits
scenes of non-uniform motion and dynamic light conditions. We propose an
end-to-end learning-based network to unlock the potential of the event camera
for video deraining. First, we devise an event-aware motion detection module to
adaptively aggregate multi-frame motion contexts using event-aware masks.
Second, we design a pyramidal adaptive selection module for reliably separating
the background and rain layers by incorporating multi-modal contextualized
priors. In addition, we build a real-world dataset consisting of rainy videos
and temporally synchronized event streams. We compare our method with extensive
state-of-the-art methods on synthetic and self-collected real-world datasets,
demonstrating the clear superiority of our method. The code and dataset are
available at \url{https://github.com/booker-max/EGVD}.
- Abstract(参考訳): ディープラーニングの急速な発展により、ビデオデラリニングは大きな進歩を遂げた。
しかし, 複雑な時空間分布の降雨層を有するシーンでは, 既存のビデオデラリニングパイプラインは満足のいく性能を達成できない。
本稿では,イベントカメラを用いて映像のデライニングにアプローチする。
ニューロモルフィックセンサーとして、イベントカメラは不均一な動きと動的光条件のシーンに適合する。
そこで本稿では,イベントカメラの可能性を解き明かすために,エンド・ツー・エンドの学習ベースネットワークを提案する。
まず,イベントアウェアマスクを用いたマルチフレーム動作コンテキストを適応的に集約するイベントアウェア動作検出モジュールを開発した。
第2に,マルチモーダル・コンテキスト化前処理を取り入れることで,背景層と雨層を確実に分離するピラミッド型適応選択モジュールを設計した。
さらに,雨のビデオと時間同期イベントストリームからなる実世界のデータセットを構築する。
本手法を総合的および自己収集型実世界データセットの広範な最先端手法と比較し,提案手法の明らかな優越性を示す。
コードとデータセットは \url{https://github.com/booker-max/egvd} で利用可能である。
関連論文リスト
- Temporal-Mapping Photography for Event Cameras [5.838762448259289]
イベントカメラは、従来の強度フレームではなく、連続したイベントストリームとして明るさの変化をキャプチャする。
我々は静的な場面で静止イベントカメラを用いて高密度画像変換を行う。
論文 参考訳(メタデータ) (2024-03-11T05:29:46Z) - Event-aware Video Corpus Moment Retrieval [79.48249428428802]
Video Corpus Moment Retrieval(VCMR)は、未編集ビデオの膨大なコーパス内の特定の瞬間を特定することに焦点を当てた、実用的なビデオ検索タスクである。
VCMRの既存の方法は、典型的にはフレーム対応のビデオ検索に依存し、クエリとビデオフレーム間の類似性を計算して、ビデオをランク付けする。
本研究では,ビデオ検索の基本単位として,ビデオ内のイベントを明示的に活用するモデルであるEventFormerを提案する。
論文 参考訳(メタデータ) (2024-02-21T06:55:20Z) - An Event-Oriented Diffusion-Refinement Method for Sparse Events
Completion [36.64856578682197]
イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。
本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。
具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
論文 参考訳(メタデータ) (2024-01-06T08:09:54Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳(メタデータ) (2023-11-30T18:59:23Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳(メタデータ) (2023-07-24T06:51:07Z) - DropMAE: Masked Autoencoders with Spatial-Attention Dropout for Tracking
Tasks [76.24996889649744]
Masked Autoencoder (MAE) Pretraining on video for matching-based downstream task, including visual object tracking (VOT) and video object segmentation (VOS)
そこで我々は,映像における時間的対応学習を容易にするために,フレーム再構成において空間的アテンション・ドロップアウトを適応的に行うDropMAEを提案する。
本モデルは,9つの競争力のあるビデオ追跡とセグメンテーションデータセットのうち8つに,最先端のパフォーマンスを新たに設定する。
論文 参考訳(メタデータ) (2023-04-02T16:40:42Z) - Feature-Aligned Video Raindrop Removal with Temporal Constraints [68.49161092870224]
雨滴除去は、単一画像とビデオの両方において困難である。
熱帯雨林とは異なり、雨滴は複数のフレームで同じ地域を覆う傾向にある。
本手法では,2段階の降雨量除去手法を用いる。
論文 参考訳(メタデータ) (2022-05-29T05:42:14Z) - Event-guided Deblurring of Unknown Exposure Time Videos [31.992673443516235]
イベントカメラは、高時間分解能で見かけの動きを捉えることができる。
本稿では,イベント特徴を選択的に利用するための新しい露光時間に基づくイベント選択モジュールを提案する。
本手法は最先端の性能を実現する。
論文 参考訳(メタデータ) (2021-12-13T19:46:17Z) - VisEvent: Reliable Object Tracking via Collaboration of Frame and Event
Flows [93.54888104118822]
このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。
私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。
VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
論文 参考訳(メタデータ) (2021-08-11T03:55:12Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。