論文の概要: Learning Optical Flow from Event Camera with Rendered Dataset
- arxiv url: http://arxiv.org/abs/2303.11011v1
- Date: Mon, 20 Mar 2023 10:44:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 15:54:12.663593
- Title: Learning Optical Flow from Event Camera with Rendered Dataset
- Title(参考訳): レンダリングデータセットを用いたイベントカメラからの光フローの学習
- Authors: Xinglong Luo, Kunming Luo, Ao Luo, Zhengning Wang, Ping Tan,
Shuaicheng Liu
- Abstract要約: コンピュータグラフィックスモデルを用いて物理的に正しいイベントフローデータセットを描画する。
特に,Blenderによって室内および屋外の3Dシーンを,リッチなシーン内容のバリエーションで生成する。
- 参考スコア(独自算出の注目度): 45.4342948504988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of estimating optical flow from event cameras. One
important issue is how to build a high-quality event-flow dataset with accurate
event values and flow labels. Previous datasets are created by either capturing
real scenes by event cameras or synthesizing from images with pasted foreground
objects. The former case can produce real event values but with calculated flow
labels, which are sparse and inaccurate. The later case can generate dense flow
labels but the interpolated events are prone to errors. In this work, we
propose to render a physically correct event-flow dataset using computer
graphics models. In particular, we first create indoor and outdoor 3D scenes by
Blender with rich scene content variations. Second, diverse camera motions are
included for the virtual capturing, producing images and accurate flow labels.
Third, we render high-framerate videos between images for accurate events. The
rendered dataset can adjust the density of events, based on which we further
introduce an adaptive density module (ADM). Experiments show that our proposed
dataset can facilitate event-flow learning, whereas previous approaches when
trained on our dataset can improve their performances constantly by a
relatively large margin. In addition, event-flow pipelines when equipped with
our ADM can further improve performances.
- Abstract(参考訳): イベントカメラから光流れを推定する問題について検討する。
重要な問題のひとつは、正確なイベント値とフローラベルを備えた高品質なイベントフローデータセットを構築する方法だ。
以前のデータセットは、イベントカメラで実際のシーンをキャプチャするか、ペーストされたフォアグラウンドオブジェクトで画像から合成することで作成される。
前者のケースは実際のイベント値を生成するが、計算されたフローラベルはスパースで不正確である。
後者の場合、密なフローラベルを生成することができるが、補間されたイベントはエラーを起こしやすい。
本研究では,コンピュータグラフィックスモデルを用いて物理的に正しいイベントフローデータセットを作成することを提案する。
特に,室内および屋外の3dシーンを,リッチなシーンコンテンツのバリエーションをブレンダーで作成する。
第2に,仮想キャプチャや画像生成,正確なフローラベルなど,さまざまなカメラ動作が含まれている。
第3に、正確なイベントのために画像間で高フレームのビデオをレンダリングする。
レンダリングされたデータセットはイベントの密度を調整することができ、さらに適応密度モジュール(ADM)を導入する。
実験によれば、提案するデータセットはイベントフロー学習を促進できるが、データセットでトレーニングされた以前のアプローチは、比較的大きなマージンで常にパフォーマンスを向上させることができる。
さらに、ADMを装備したイベントフローパイプラインにより、パフォーマンスがさらに向上する。
関連論文リスト
- Event Camera Data Dense Pre-training [12.27119620314554]
本稿では,イベントカメラデータを用いた高密度予測タスクに適したニューラルネットワークの事前学習を目的とした,自己教師付き学習フレームワークを提案する。
フレームワークをトレーニングするために、さまざまなシーンと動きパターンを特徴とする合成イベントカメラデータセットをキュレートする。
論文 参考訳(メタデータ) (2023-11-20T04:36:19Z) - Implicit Event-RGBD Neural SLAM [57.48879389141497]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルネットワークSLAMフレームワークであるtextbfEN-SLAM$を提案する。
論文 参考訳(メタデータ) (2023-11-18T08:48:58Z) - Rethinking Event-based Human Pose Estimation with 3D Event
Representations [26.592295349210787]
イベントカメラは、困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。
我々は、Rasterized Event Point CloudとDecoupled Event Voxelの2つの3Dイベント表現を紹介します。
EV-3DPW実験により,従来のRGB画像やイベントフレーム技術と比較して,提案手法のロバスト性を示した。
論文 参考訳(メタデータ) (2023-11-08T10:45:09Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳(メタデータ) (2023-10-03T21:08:41Z) - BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow
Estimation [54.24083734729374]
イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
BlinkSimに基づいて,大規模なトレーニングデータセットと評価ベンチマークBlinkFlowを構築した。
実験の結果、BlinkFlowは最先端手法の一般化性能を平均40%以上改善し、最大90%向上した。
論文 参考訳(メタデータ) (2023-03-14T09:03:54Z) - EventMix: An Efficient Augmentation Strategy for Event-Based Data [4.8416725611508244]
イベントカメラは、高ダイナミックレンジと低エネルギーのイベントストリームデータを提供することができる。
スケールは従来のフレームベースのデータよりも小さく、入手が難しい。
本稿では,イベントストリームデータに対する効率的なデータ拡張戦略であるEventMixを提案する。
論文 参考訳(メタデータ) (2022-05-24T13:07:33Z) - VisEvent: Reliable Object Tracking via Collaboration of Frame and Event
Flows [93.54888104118822]
このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。
私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。
VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
論文 参考訳(メタデータ) (2021-08-11T03:55:12Z) - The Spatio-Temporal Poisson Point Process: A Simple Model for the
Alignment of Event Camera Data [19.73526916714181]
イベントカメラは、視覚情報の自然で効率的な表現を提供する。
本稿では,その自然時間構造を捉えたイベントデータの新しいモデルを提案する。
DAVIS 240Cデータセット上での回転速度推定の精度向上について述べる。
論文 参考訳(メタデータ) (2021-06-13T00:43:27Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。