論文の概要: v2e: From Video Frames to Realistic DVS Events
- arxiv url: http://arxiv.org/abs/2006.07722v2
- Date: Mon, 19 Apr 2021 08:30:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 21:18:40.280327
- Title: v2e: From Video Frames to Realistic DVS Events
- Title(参考訳): v2e: ビデオフレームからリアルなDVSイベントへ
- Authors: Yuhuang Hu and Shih-Chii Liu and Tobi Delbruck
- Abstract要約: 本稿では,高強度フレームからリアルな合成DVSイベントを生成するv2eツールボックスを提案する。
リアルなDVSイベントは、制御されていない照明条件のトレーニングネットワークで有用である。
- 参考スコア(独自算出の注目度): 16.562442770255032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To help meet the increasing need for dynamic vision sensor (DVS) event camera
data, this paper proposes the v2e toolbox that generates realistic synthetic
DVS events from intensity frames. It also clarifies incorrect claims about DVS
motion blur and latency characteristics in recent literature. Unlike other
toolboxes, v2e includes pixel-level Gaussian event threshold mismatch, finite
intensity-dependent bandwidth, and intensity-dependent noise. Realistic DVS
events are useful in training networks for uncontrolled lighting conditions.
The use of v2e synthetic events is demonstrated in two experiments. The first
experiment is object recognition with N-Caltech 101 dataset. Results show that
pretraining on various v2e lighting conditions improves generalization when
transferred on real DVS data for a ResNet model. The second experiment shows
that for night driving, a car detector trained with v2e events shows an average
accuracy improvement of 40% compared to the YOLOv3 trained on intensity frames.
- Abstract(参考訳): ダイナミックビジョンセンサ(DVS)イベントカメラデータの必要性の高まりに対応するため,本研究では,高強度フレームからリアルな合成DVSイベントを生成するv2eツールボックスを提案する。
また、最近の文献でDVSの動作の曖昧さと遅延特性に関する誤った主張を明らかにしている。
他のツールボックスとは異なり、v2eはピクセルレベルのガウスイベントしきい値ミスマッチ、有限の強度依存帯域幅、強度依存ノイズを含む。
リアルなDVSイベントは、制御されていない照明条件のトレーニングネットワークで有用である。
v2e合成イベントの使用は2つの実験で実証された。
最初の実験は、N-Caltech 101データセットによるオブジェクト認識である。
その結果、様々なv2e照明条件での事前訓練は、resnetモデルで実際のdvsデータに転送する場合の一般化を改善できることがわかった。
第2の実験では、夜間運転では、v2eイベントで訓練された車両検知器が、強度フレームで訓練されたYOLOv3と比較して平均40%の精度向上を示した。
関連論文リスト
- Temporal-Mapping Photography for Event Cameras [5.838762448259289]
イベントカメラは、従来の強度フレームではなく、連続したイベントストリームとして明るさの変化をキャプチャする。
我々は静的な場面で静止イベントカメラを用いて高密度画像変換を行う。
論文 参考訳(メタデータ) (2024-03-11T05:29:46Z) - ShapeAug: Occlusion Augmentation for Event Camera Data [13.634866461329224]
ダイナミックビジョンセンサ(DVS)のための新しいイベントデータ拡張手法を提案する。
シーン内でランダムに動く物体の合成イベントを紹介する。
提案手法を複数のDVS分類データセットで検証した結果,トップ1精度が最大6.5%向上した。
論文 参考訳(メタデータ) (2024-01-04T13:49:45Z) - Implicit Event-RGBD Neural SLAM [57.48879389141497]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルネットワークSLAMフレームワークであるtextbfEN-SLAM$を提案する。
論文 参考訳(メタデータ) (2023-11-18T08:48:58Z) - Rethinking Event-based Human Pose Estimation with 3D Event
Representations [26.592295349210787]
イベントカメラは、困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。
我々は、Rasterized Event Point CloudとDecoupled Event Voxelの2つの3Dイベント表現を紹介します。
EV-3DPW実験により,従来のRGB画像やイベントフレーム技術と比較して,提案手法のロバスト性を示した。
論文 参考訳(メタデータ) (2023-11-08T10:45:09Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳(メタデータ) (2023-10-03T21:08:41Z) - V2CE: Video to Continuous Events Simulator [1.1562008675377833]
ダイナミック・ビジョン・センサ(DVS)の特性を考慮した複数視点からのストリーム変換のための新しい手法を提案する。
慎重に設計された一連のタイムスタンプ損失は、生成されたイベントボクセルの品質を大幅に向上させるのに役立つ。
また,イベント・ボクセルからのイベント・タイムスタンプを連続的に再現するための局所動的推論手法を提案する。
論文 参考訳(メタデータ) (2023-09-16T06:06:53Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳(メタデータ) (2023-03-17T12:12:41Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳(メタデータ) (2022-06-23T17:59:53Z) - VisEvent: Reliable Object Tracking via Collaboration of Frame and Event
Flows [93.54888104118822]
このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。
私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。
VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
論文 参考訳(メタデータ) (2021-08-11T03:55:12Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z) - Cloze Test Helps: Effective Video Anomaly Detection via Learning to
Complete Video Events [41.500063839748094]
異常検出(VAD)は、ディープニューラルネットワーク(DNN)を介して実りある進歩を遂げた
言語研究で頻繁に使用されるクローゼテストに触発されて,ビデオイベントコンプリート(VEC)という新しいVADソリューションを提案する。
VECは、一般的に使用されているVADベンチマークにおいて、顕著なマージン(典型的には1.5%-5% AUD)によって、最先端の手法を一貫して上回っている。
論文 参考訳(メタデータ) (2020-08-27T08:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。