論文の概要: BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow Estimation

• arxiv url: http://arxiv.org/abs/2303.07716v2
• Date: Sun, 27 Oct 2024 14:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:12.375082
• Title: BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow Estimation
• Title（参考訳）: BlinkFlow: イベントベースの光フロー推定の限界をプッシュするデータセット
• Authors: Yijin Li, Zhaoyang Huang, Shuo Chen, Xiaoyu Shi, Hongsheng Li, Hujun Bao, Zhaopeng Cui, Guofeng Zhang,
• Abstract要約: イベントカメラは、高時間精度、低データレート、高ダイナミックレンジ視覚知覚を提供する。 イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
• 参考スコア（独自算出の注目度）: 76.66876888943385
• License:
• Abstract: Event cameras provide high temporal precision, low data rates, and high dynamic range visual perception, which are well-suited for optical flow estimation. While data-driven optical flow estimation has obtained great success in RGB cameras, its generalization performance is seriously hindered in event cameras mainly due to the limited and biased training data. In this paper, we present a novel simulator, BlinkSim, for the fast generation of large-scale data for event-based optical flow. BlinkSim incorporates a configurable rendering engine alongside an event simulation suite. By leveraging the wealth of current 3D assets, the rendering engine enables us to automatically build up thousands of scenes with different objects, textures, and motion patterns and render very high-frequency images for realistic event data simulation. Based on BlinkSim, we construct a large training dataset and evaluation benchmark BlinkFlow that contains sufficient, diversiform, and challenging event data with optical flow ground truth. Experiments show that BlinkFlow improves the generalization performance of state-of-the-art methods by more than 40\% on average and up to 90\%. Moreover, we further propose an Event-based optical Flow transFormer (E-FlowFormer) architecture. Powered by our BlinkFlow, E-FlowFormer outperforms the SOTA methods by up to 91\% on the MVSEC dataset and 14\% on the DSEC dataset and presents the best generalization performance. The source code and data are available at https://zju3dv.github.io/blinkflow/.
• Abstract（参考訳）: イベントカメラは、高時間精度、低データレート、高ダイナミックレンジの視覚知覚を提供する。 データ駆動型光フロー推定はRGBカメラでは大きな成功を収めているが、その一般化性能は、主に限られた偏りのトレーニングデータのために、イベントカメラでは深刻な障害となっている。 本稿では,イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。 BlinkSimには、イベントシミュレーションスイートとともに、設定可能なレンダリングエンジンが組み込まれている。 現在の3Dアセットの豊かさを活用することで、レンダリングエンジンは、さまざまなオブジェクト、テクスチャ、モーションパターンで数千のシーンを自動的に構築し、非常に高周波な画像をリアルなイベントデータシミュレーションのためにレンダリングすることができます。 BlinkSimをベースとした大規模なトレーニングデータセットと評価ベンチマークBlinkFlowを構築する。 実験の結果,BlinkFlowは最先端手法の一般化性能を平均40%以上,最大90%以上向上することがわかった。 さらに,イベントベースの光フロートランスフォーマー(E-FlowFormer)アーキテクチャを提案する。 当社のBlinkFlowによって開発されたE-FlowFormerは,MVSECデータセットで最大91倍,DSECデータセットで14倍,SOTAメソッドで最高の一般化性能を示す。 ソースコードとデータはhttps://zju3dv.github.io/blinkflow/で公開されている。

関連論文リスト

• MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
  本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。 本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。 われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
  論文  参考訳（メタデータ） (2024-04-07T04:56:58Z)
• RPEFlow: Multimodal Fusion of RGB-PointCloud-Event for Joint Optical Flow and Scene Flow Estimation [43.358140897849616]
  本稿では,RGB画像,ポイント雲,イベントを多段階多モード融合モデルであるRPEFlowに組み込む。 合成データと実データの両方の実験により、我々のモデルは既存の最先端技術よりも広いマージンで優れています。
  論文  参考訳（メタデータ） (2023-09-26T17:23:55Z)
• Towards Anytime Optical Flow Estimation with Event Cameras [35.685866753715416]
  イベントカメラは、マイクロ秒間の対数輝度の変化に対応することができる。 イベントカメラを介して収集された既存のデータセットは、限られたフレームレートの光学フローグラウンド真理を提供する。 本研究では,高フレームレートのイベント光流を生成するEVent-based Anytime Flow推定ネットワークであるEVA-Flowを提案する。
  論文  参考訳（メタデータ） (2023-07-11T06:15:12Z)
• RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos [28.995525297929348]
  RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。 まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。 本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-22T13:33:03Z)
• SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
  スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。 光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。 本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
  論文  参考訳（メタデータ） (2021-10-08T06:16:45Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)
• AutoFlow: Learning a Better Training Set for Optical Flow [62.40293188964933]
  AutoFlowは、光学フローのトレーニングデータをレンダリングする手法である。 AutoFlowはPWC-NetとRAFTの両方の事前トレーニングにおいて最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-04-29T17:55:23Z)
• OmniFlow: Human Omnidirectional Optical Flow [0.0]
  我々はomniflow: a new synthetic omnidirectional human optical flow datasetを提案する。 レンダリングエンジンに基づいて、テクスチャルーム、キャラクター、アクション、オブジェクト、イルミネーション、モーションボケを備えた自然主義的な3D屋内環境を作成します。 シミュレーションは、家庭内活動の出力画像と、それに対応する前方および後方の光学的流れを有する。
  論文  参考訳（メタデータ） (2021-04-16T08:25:20Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。