論文の概要: V2CE: Video to Continuous Events Simulator
- arxiv url: http://arxiv.org/abs/2309.08891v1
- Date: Sat, 16 Sep 2023 06:06:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 18:43:01.634218
- Title: V2CE: Video to Continuous Events Simulator
- Title(参考訳): V2CE: ビデオから連続イベントシミュレータ
- Authors: Zhongyang Zhang, Shuyang Cui, Kaidong Chai, Haowen Yu, Subhasis
Dasgupta, Upal Mahbub, Tauhidur Rahman
- Abstract要約: ダイナミック・ビジョン・センサ(DVS)の特性を考慮した複数視点からのストリーム変換のための新しい手法を提案する。
慎重に設計された一連のタイムスタンプ損失は、生成されたイベントボクセルの品質を大幅に向上させるのに役立つ。
また,イベント・ボクセルからのイベント・タイムスタンプを連続的に再現するための局所動的推論手法を提案する。
- 参考スコア(独自算出の注目度): 1.1562008675377833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic Vision Sensor (DVS)-based solutions have recently garnered
significant interest across various computer vision tasks, offering notable
benefits in terms of dynamic range, temporal resolution, and inference speed.
However, as a relatively nascent vision sensor compared to Active Pixel Sensor
(APS) devices such as RGB cameras, DVS suffers from a dearth of ample labeled
datasets. Prior efforts to convert APS data into events often grapple with
issues such as a considerable domain shift from real events, the absence of
quantified validation, and layering problems within the time axis. In this
paper, we present a novel method for video-to-events stream conversion from
multiple perspectives, considering the specific characteristics of DVS. A
series of carefully designed losses helps enhance the quality of generated
event voxels significantly. We also propose a novel local dynamic-aware
timestamp inference strategy to accurately recover event timestamps from event
voxels in a continuous fashion and eliminate the temporal layering problem.
Results from rigorous validation through quantified metrics at all stages of
the pipeline establish our method unquestionably as the current
state-of-the-art (SOTA).
- Abstract(参考訳): ダイナミックビジョンセンサー(dvs)ベースのソリューションは最近、様々なコンピュータビジョンタスクで大きな関心を集めており、ダイナミックレンジ、時間分解能、推論速度の点で顕著な利点を提供している。
しかし、rgbカメラのようなアクティブなピクセルセンサー(aps)と比較すると比較的新しいビジョンセンサーとして、dvsは大量のラベル付きデータセットに苦しめられている。
APSデータをイベントに変換する以前の取り組みは、実際のイベントからかなりのドメインシフト、定量化バリデーションの欠如、時間軸内の階層化問題といった問題に悩まされることが多かった。
本稿では,DVSの特性を考慮した複数視点からのストリーム変換手法を提案する。
慎重に設計された一連の損失は、生成されたイベントボクセルの品質を大幅に向上させるのに役立つ。
また,イベントボクセルからイベントのタイムスタンプを連続的に復元し,時間的階層化問題を解消する,局所的動的対応型タイムスタンプ推論手法を提案する。
パイプラインのすべての段階における定量化メトリクスによる厳密な検証の結果は、現在のSOTA(State-of-the-art)として必然的に我々の方法を確立します。
関連論文リスト
- An Event-Oriented Diffusion-Refinement Method for Sparse Events
Completion [36.64856578682197]
イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。
本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。
具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
論文 参考訳(メタデータ) (2024-01-06T08:09:54Z) - LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry [56.95046107046027]
本稿では,LEAP(Long-term Effective Any Point Tracking)モジュールについて述べる。
LEAPは、動的トラック推定のために、視覚的、トラック間、時間的キューと慎重に選択されたアンカーを革新的に組み合わせている。
これらの特徴に基づき,強靭な視力計測システムLEAP-VOを開発した。
論文 参考訳(メタデータ) (2024-01-03T18:57:27Z) - Implicit Event-RGBD Neural SLAM [57.48879389141497]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルネットワークSLAMフレームワークであるtextbfEN-SLAM$を提案する。
論文 参考訳(メタデータ) (2023-11-18T08:48:58Z) - Event-based Simultaneous Localization and Mapping: A Comprehensive
Survey [67.89650389832147]
ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。
Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
論文 参考訳(メタデータ) (2023-04-19T16:21:14Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳(メタデータ) (2023-04-14T05:30:02Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳(メタデータ) (2023-03-17T12:12:41Z) - Event Transformer [37.18171320405741]
イベントカメラは、(空間内で)非同期に(時間内で)ピクセルの明るさ変化(時間軸、イベント)を記録する
この研究は、イベントシーケンスをネイティブベクトル化テンソルフォーマットで処理するEvent Transformerを提案する。
局所的な時間的相関を利用するローカルトランスフォーマー(LXformer)、局所的な空間的類似性を埋め込むSコンフォーマー(SCformer)、グローバル情報をさらに集約するグローバルトランスフォーマー(GXformer)をカスケードする。
論文 参考訳(メタデータ) (2022-04-11T15:05:06Z) - Ev-TTA: Test-Time Adaptation for Event-Based Object Recognition [7.814941658661939]
Ev-TTAは、イベントベースのオブジェクト認識のためのシンプルで効果的なテスト時間適応である。
我々の定式化は、入力表現に関係なくうまく適用でき、回帰タスクに拡張できる。
論文 参考訳(メタデータ) (2022-03-23T07:43:44Z) - An Attention-based ConvLSTM Autoencoder with Dynamic Thresholding for
Unsupervised Anomaly Detection in Multivariate Time Series [2.9685635948299995]
本稿では,異常検出と診断を行うための動的閾値保持(ACLAE-DT)フレームワークを用いた非教師付き注意型畳み込み長短期記憶(ConvLSTM)オートエンコーダを提案する。
フレームワークは、システムステータスを特徴付ける機能イメージを構築する前に、データの事前処理と強化から始まります。
構築した特徴画像は注意に基づくConvLSTMオートエンコーダに入力される。
その後、再構成エラーを計算し、統計に基づく動的しきい値決定機構により異常を検出し診断する。
論文 参考訳(メタデータ) (2022-01-23T04:01:43Z) - Federated Variational Learning for Anomaly Detection in Multivariate
Time Series [13.328883578980237]
本稿では,非教師付き時系列異常検出フレームワークを提案する。
我々は,畳み込みGated Recurrent Unit(ConvGRU)モデルに基づいて,共有変分オートエンコーダ(VAE)を学習するために,エッジに分散したトレーニングデータを残しておく。
3つの実世界のネットワークセンサーデータセットの実験は、他の最先端モデルに対する我々のアプローチの利点を示しています。
論文 参考訳(メタデータ) (2021-08-18T22:23:15Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。