論文の概要: Fusing Frame and Event Vision for High-speed Optical Flow for Edge Application

• arxiv url: http://arxiv.org/abs/2207.10720v1
• Date: Thu, 21 Jul 2022 19:15:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-25 12:34:04.135166
• Title: Fusing Frame and Event Vision for High-speed Optical Flow for Edge Application
• Title（参考訳）: エッジ応用のための高速光流れの融合フレームとイベントビジョン
• Authors: Ashwin Sanjay Lele, Arijit Raychowdhury
• Abstract要約: イベントカメラは、フレームレート制限を克服する継続的非同期イベントストリームを提供する。 フレームとイベントベースパイプラインの相補的精度と速度の利点を融合させ,高速な光フローを実現する。
• 参考スコア（独自算出の注目度）: 2.048335092363435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical flow computation with frame-based cameras provides high accuracy but the speed is limited either by the model size of the algorithm or by the frame rate of the camera. This makes it inadequate for high-speed applications. Event cameras provide continuous asynchronous event streams overcoming the frame-rate limitation. However, the algorithms for processing the data either borrow frame like setup limiting the speed or suffer from lower accuracy. We fuse the complementary accuracy and speed advantages of the frame and event-based pipelines to provide high-speed optical flow while maintaining a low error rate. Our bio-mimetic network is validated with the MVSEC dataset showing 19% error degradation at 4x speed up. We then demonstrate the system with a high-speed drone flight scenario where a high-speed event camera computes the flow even before the optical camera sees the drone making it suited for applications like tracking and segmentation. This work shows the fundamental trade-offs in frame-based processing may be overcome by fusing data from other modalities.
• Abstract（参考訳）: フレームベースのカメラによる光フロー計算は精度が高いが、速度はアルゴリズムのモデルサイズやカメラのフレームレートによって制限される。 これにより、高速アプリケーションには適さない。 イベントカメラはフレームレート制限を克服する連続的な非同期イベントストリームを提供する。 しかし、データを処理するアルゴリズムは、速度制限のような設定フレームを借りるか、より低い精度で苦しむ。 フレームとイベントベースパイプラインの相補的精度と速度の利点を融合させ,低エラー率を維持しながら高速な光フローを実現する。 我々のバイオミメティックネットワークはMVSECデータセットで検証され、4倍の速度で19%のエラー劣化を示した。 そして、高速のイベントカメラが、光学カメラがドローンが追跡やセグメンテーションのようなアプリケーションに適しているのを見る前に、フローを計算する高速ドローン飛行シナリオでシステムをデモする。 この研究は、フレームベースの処理における基本的なトレードオフが、他のモダリティからデータを取り出すことによって克服できることを示している。

関連論文リスト

• EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms with Real-captured Hybrid Dataset [55.12137324648253]
  イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。 本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-13T15:42:04Z)
• Event-based Background-Oriented Schlieren [18.2247510082534]
  シュリーレンイメージング(Schlieren imaging)は、空気や水などの透明な媒体の流れを粒子の種を作らずに観察する光学技術である。 イベントカメラは、バイオインスパイアされたセンシング原理により、そのような制限を克服する潜在的な利点(高ダイナミックレンジ、高時間分解能、データ効率)を提供する。 本稿では,イベントデータとシュリエレンを結合する最初の理論的解析を行い,イベントとフレームを用いた空気対流の知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-11-01T10:57:20Z)
• Towards Anytime Optical Flow Estimation with Event Cameras [35.685866753715416]
  イベントカメラは、マイクロ秒間の対数輝度の変化に対応することができる。 イベントカメラを介して収集された既存のデータセットは、限られたフレームレートの光学フローグラウンド真理を提供する。 本研究では,高フレームレートのイベント光流を生成するEVent-based Anytime Flow推定ネットワークであるEVA-Flowを提案する。
  論文  参考訳（メタデータ） (2023-07-11T06:15:12Z)
• EvConv: Fast CNN Inference on Event Camera Inputs For High-Speed Robot Perception [1.3869227429939426]
  イベントカメラは、高時間分解能と広いダイナミックレンジで視覚情報をキャプチャする。 イベントカメラストリーム上の現在の畳み込みニューラルネットワーク推論は、イベントカメラが動作している高速で、現在リアルタイムの推論を実行できない。 本稿では,イベントカメラからの入力に対して,CNN上で高速な推論を可能にする新しいアプローチであるEvConvを提案する。
  論文  参考訳（メタデータ） (2023-03-08T15:47:13Z)
• ESL: Event-based Structured Light [62.77144631509817]
  イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。 本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
  論文  参考訳（メタデータ） (2021-11-30T15:47:39Z)
• SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
  スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。 光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。 本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
  論文  参考訳（メタデータ） (2021-10-08T06:16:45Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。