論文の概要: BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow
Estimation
- arxiv url: http://arxiv.org/abs/2303.07716v1
- Date: Tue, 14 Mar 2023 09:03:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 15:47:44.528398
- Title: BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow
Estimation
- Title（参考訳）: BlinkFlow: イベントベースの光フロー推定の限界をプッシュするデータセット
- Authors: Yijin Li, Zhaoyang Huang, Shuo Chen, Xiaoyu Shi, Hongsheng Li, Hujun
Bao, Zhaopeng Cui, Guofeng Zhang
- Abstract要約: イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
BlinkSimに基づいて,大規模なトレーニングデータセットと評価ベンチマークBlinkFlowを構築した。
実験の結果、BlinkFlowは最先端手法の一般化性能を平均40%以上改善し、最大90%向上した。
- 参考スコア（独自算出の注目度）: 54.24083734729374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras provide high temporal precision, low data rates, and high
dynamic range visual perception, which are well-suited for optical flow
estimation. While data-driven optical flow estimation has obtained great
success in RGB cameras, its generalization performance is seriously hindered in
event cameras mainly due to the limited and biased training data. In this
paper, we present a novel simulator, BlinkSim, for the fast generation of
large-scale data for event-based optical flow. BlinkSim consists of a
configurable rendering engine and a flexible engine for event data simulation.
By leveraging the wealth of current 3D assets, the rendering engine enables us
to automatically build up thousands of scenes with different objects, textures,
and motion patterns and render very high-frequency images for realistic event
data simulation. Based on BlinkSim, we construct a large training dataset and
evaluation benchmark BlinkFlow that contains sufficient, diversiform, and
challenging event data with optical flow ground truth. Experiments show that
BlinkFlow improves the generalization performance of state-of-the-art methods
by more than 40% on average and up to 90%. Moreover, we further propose an
Event optical Flow transFormer (E-FlowFormer) architecture. Powered by our
BlinkFlow, E-FlowFormer outperforms the SOTA methods by up to 91% on MVSEC
dataset and 14% on DSEC dataset and presents the best generalization
performance.
- Abstract（参考訳）: イベントカメラは、光フロー推定に適した高い時間精度、低データレート、高ダイナミックレンジの視覚知覚を提供する。
データ駆動光フロー推定はrgbカメラで大きな成功を収めているが、その一般化性能は、主に制限された偏りのあるトレーニングデータのために、イベントカメラでは著しく阻害されている。
本稿では,イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
BlinkSimは、設定可能なレンダリングエンジンと、イベントデータシミュレーションのための柔軟なエンジンで構成されている。
現在の3Dアセットの豊富な活用により、レンダリングエンジンは、異なるオブジェクト、テクスチャ、モーションパターンで数千のシーンを自動的に構築し、非常に高周波な画像をリアルなイベントデータシミュレーションのためにレンダリングする。
BlinkSimをベースとした大規模なトレーニングデータセットと評価ベンチマークBlinkFlowを構築する。
実験の結果、BlinkFlowは最先端手法の一般化性能を平均40%以上改善し、最大90%向上した。
さらに,イベント光フロートランスフォーマー(E-FlowFormer)アーキテクチャを提案する。
当社のBlinkFlowによって開発されたE-FlowFormerは,MVSECデータセットで最大91%,DSECデータセットで14%,SOTAメソッドで最大91%,最高の一般化性能を示している。
関連論文リスト
- MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。
本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。
われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
論文 参考訳（メタデータ） (2024-04-07T04:56:58Z) - RPEFlow: Multimodal Fusion of RGB-PointCloud-Event for Joint Optical
Flow and Scene Flow Estimation [43.358140897849616]
本稿では,RGB画像,ポイント雲,イベントを多段階多モード融合モデルであるRPEFlowに組み込む。
合成データと実データの両方の実験により、我々のモデルは既存の最先端技術よりも広いマージンで優れています。
論文 参考訳（メタデータ） (2023-09-26T17:23:55Z) - Towards Anytime Optical Flow Estimation with Event Cameras [35.685866753715416]
イベントカメラは、マイクロ秒間の対数輝度の変化に対応することができる。
イベントカメラを介して収集された既存のデータセットは、限られたフレームレートの光学フローグラウンド真理を提供する。
本研究では,高フレームレートのイベント光流を生成するEVent-based Anytime Flow推定ネットワークであるEVA-Flowを提案する。
論文 参考訳（メタデータ） (2023-07-11T06:15:12Z) - RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos [28.995525297929348]
RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。
まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。
本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-22T13:33:03Z) - SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。
光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。
本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
論文 参考訳（メタデータ） (2021-10-08T06:16:45Z) - VisEvent: Reliable Object Tracking via Collaboration of Frame and Event
Flows [93.54888104118822]
このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。
私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。
VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
論文 参考訳（メタデータ） (2021-08-11T03:55:12Z) - AutoFlow: Learning a Better Training Set for Optical Flow [62.40293188964933]
AutoFlowは、光学フローのトレーニングデータをレンダリングする手法である。
AutoFlowはPWC-NetとRAFTの両方の事前トレーニングにおいて最先端の精度を実現する。
論文 参考訳（メタデータ） (2021-04-29T17:55:23Z) - OmniFlow: Human Omnidirectional Optical Flow [0.0]
我々はomniflow: a new synthetic omnidirectional human optical flow datasetを提案する。
レンダリングエンジンに基づいて、テクスチャルーム、キャラクター、アクション、オブジェクト、イルミネーション、モーションボケを備えた自然主義的な3D屋内環境を作成します。
シミュレーションは、家庭内活動の出力画像と、それに対応する前方および後方の光学的流れを有する。
論文 参考訳（メタデータ） (2021-04-16T08:25:20Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。