論文の概要: Towards Anytime Optical Flow Estimation with Event Cameras

• arxiv url: http://arxiv.org/abs/2307.05033v2
• Date: Thu, 19 Oct 2023 13:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 19:28:08.994445
• Title: Towards Anytime Optical Flow Estimation with Event Cameras
• Title（参考訳）: イベントカメラを用いた常時光流量推定
• Authors: Yaozu Ye, Hao Shi, Kailun Yang, Ze Wang, Xiaoting Yin, Yining Lin, Mao Liu, Yaonan Wang, Kaiwei Wang
• Abstract要約: イベントカメラは、マイクロ秒間の対数輝度の変化に対応することができる。 イベントカメラを介して収集された既存のデータセットは、限られたフレームレートの光学フローグラウンド真理を提供する。 本研究では,高フレームレートのイベント光流を生成するEVent-based Anytime Flow推定ネットワークであるEVA-Flowを提案する。
• 参考スコア（独自算出の注目度）: 35.685866753715416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical flow estimation is a fundamental task in the field of autonomous driving. Event cameras are capable of responding to log-brightness changes in microseconds. Its characteristic of producing responses only to the changing region is particularly suitable for optical flow estimation. In contrast to the super low-latency response speed of event cameras, existing datasets collected via event cameras, however, only provide limited frame rate optical flow ground truth, (e.g., at 10Hz), greatly restricting the potential of event-driven optical flow. To address this challenge, we put forward a high-frame-rate, low-latency event representation Unified Voxel Grid, sequentially fed into the network bin by bin. We then propose EVA-Flow, an EVent-based Anytime Flow estimation network to produce high-frame-rate event optical flow with only low-frame-rate optical flow ground truth for supervision. The key component of our EVA-Flow is the stacked Spatiotemporal Motion Refinement (SMR) module, which predicts temporally dense optical flow and enhances the accuracy via spatial-temporal motion refinement. The time-dense feature warping utilized in the SMR module provides implicit supervision for the intermediate optical flow. Additionally, we introduce the Rectified Flow Warp Loss (RFWL) for the unsupervised evaluation of intermediate optical flow in the absence of ground truth. This is, to the best of our knowledge, the first work focusing on anytime optical flow estimation via event cameras. A comprehensive variety of experiments on MVSEC, DESC, and our EVA-FlowSet demonstrates that EVA-Flow achieves competitive performance, super-low-latency (5ms), fastest inference (9.2ms), time-dense motion estimation (200Hz), and strong generalization. Our code will be available at https://github.com/Yaozhuwa/EVA-Flow.
• Abstract（参考訳）: 光流量推定は自動運転の分野では基本的な課題である。 イベントカメラはマイクロ秒のログブライトネス変化に対応できる。 変化領域のみに応答する特性は光流量推定に特に適している。 イベントカメラの超低遅延応答速度とは対照的に、イベントカメラで収集された既存のデータセットは、フレームレートの光学フローグランド真実(例えば10hz)しか提供せず、イベント駆動光フローの可能性を著しく制限している。 この課題に対処するため、我々は高フレームレートで低レイテンシなイベント表現であるUnified Voxel Gridをネットワークビンにビンで順次送り込みました。 次に,低フレームレートの光フロー基盤のみを監督対象とする高フレームレートのイベント光フローを生成する,イベントベースのanytime flow推定ネットワークであるeva-flowを提案する。 eva-flowの重要なコンポーネントは、時間的に高密度な光流を予測し、空間-時空間運動微細化によって精度を向上させるstacked spatiotemporal motionfine (smr)モジュールです。 SMRモジュールで使用される時差特性のワープは、中間光学フローを暗黙的に監視する。 さらに, 基底真理の欠如による中間光流の教師なし評価のために, RFWL (Rectified Flow Warp Loss) を導入する。 これは、私たちの知る限りでは、イベントカメラによる任意の時間光フロー推定に焦点を当てた最初の仕事です。 MVSEC, DESC, およびEVA-FlowSetの総合的な実験により, EVA-Flowは競争性能, 超低レイテンシ (5ms), 高速推論 (9.2ms) , 時差運動推定 (200Hz) , 強い一般化を実現することが示された。 私たちのコードはhttps://github.com/Yaozhuwa/EVA-Flowで公開されます。

関連論文リスト

• SDformerFlow: Spatiotemporal swin spikeformer for event-based optical flow estimation [10.696635172502141]
  イベントカメラは、光強度の変化をキャプチャする非同期でスパースなイベントストリームを生成する。 スパイキングニューラルネットワーク(SNN)も同様の非同期特性とスパース特性を共有しており、イベントカメラに適している。 本稿では,STTFlowNetとSDFlowformerという,高速かつ堅牢なイベントカメラ用光フロー推定手法を提案する。
  論文  参考訳（メタデータ） (2024-09-06T07:48:18Z)
• AccFlow: Backward Accumulation for Long-Range Optical Flow [70.4251045372285]
  本稿では、長距離光フロー推定のためのAccFlowと呼ばれる新しいリカレントフレームワークを提案する。 従来の前方累積よりも後方累積の方が優れていることを示す。 長距離光流量推定におけるAccFlowの有効性を検証する実験
  論文  参考訳（メタデータ） (2023-08-25T01:51:26Z)
• BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow Estimation [76.66876888943385]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジ視覚知覚を提供する。 イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
  論文  参考訳（メタデータ） (2023-03-14T09:03:54Z)
• Learning Dense and Continuous Optical Flow from an Event Camera [28.77846425802558]
  DAVISのようなイベントカメラは、高時間分解能イベントと低フレームレートの強度イメージを同時に出力することができる。 既存の光学フロー推定法のほとんどは、2つの連続した画像フレームに基づいており、固定時間間隔でのみ離散フローを推定できる。 本稿では,イベントストリームを持つ単一画像から,深層学習に基づく高密度かつ連続的な光フロー推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-16T17:53:18Z)
• Event-based Temporally Dense Optical Flow Estimation with Sequential Learning [11.026299772309796]
  イベントカメラは、動きのぼやけなく素早く動く物体を捉えます。 本稿では,100Hzの時間密流推定を問題として扱うことにより,時間密流推定が可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-03T21:50:14Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
  スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。 光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。 本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
  論文  参考訳（メタデータ） (2021-10-08T06:16:45Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。