論文の概要: Neuromorphic Optical Flow and Real-time Implementation with Event
Cameras
- arxiv url: http://arxiv.org/abs/2304.07139v2
- Date: Wed, 12 Jul 2023 13:57:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 16:45:58.743631
- Title: Neuromorphic Optical Flow and Real-time Implementation with Event
Cameras
- Title(参考訳): イベントカメラによるニューロモルフィック光流れとリアルタイム実装
- Authors: Yannick Schnider, Stanislaw Wozniak, Mathias Gehrig, Jules Lecomte,
Axel von Arnim, Luca Benini, Davide Scaramuzza, Angeliki Pantazi
- Abstract要約: イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。
我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。
約2桁の複雑さで高速な光流予測を行う。
- 参考スコア(独自算出の注目度): 47.11134388304464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical flow provides information on relative motion that is an important
component in many computer vision pipelines. Neural networks provide high
accuracy optical flow, yet their complexity is often prohibitive for
application at the edge or in robots, where efficiency and latency play crucial
role. To address this challenge, we build on the latest developments in
event-based vision and spiking neural networks. We propose a new network
architecture, inspired by Timelens, that improves the state-of-the-art
self-supervised optical flow accuracy when operated both in spiking and
non-spiking mode. To implement a real-time pipeline with a physical event
camera, we propose a methodology for principled model simplification based on
activity and latency analysis. We demonstrate high speed optical flow
prediction with almost two orders of magnitude reduced complexity while
maintaining the accuracy, opening the path for real-time deployments.
- Abstract(参考訳): 光フローは、多くのコンピュータビジョンパイプラインの重要な要素である相対運動に関する情報を提供する。
ニューラルネットワークは高精度な光フローを提供するが、効率とレイテンシが重要な役割を果たすエッジやロボットでは、その複雑さがしばしば禁止される。
この課題に対処するため、イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。
timelensにインスパイアされた新しいネットワークアーキテクチャを提案する。スパイクモードと非スパイクモードの両方で動作する場合、最先端の自己教師付き光フロー精度を向上させる。
物理イベントカメラを用いたリアルタイムパイプラインの実現を目的として,アクティビティと遅延解析に基づくモデル単純化手法を提案する。
精度を維持しつつ複雑性を約2桁低減した高速光フロー予測を行い,リアルタイム展開への道を開く。
関連論文リスト
- Lightweight Delivery Detection on Doorbell Cameras [9.735137325682825]
本研究では,重要なホームアプリケーション,ビデオベースの配信検出について検討し,簡単な軽量パイプラインを提案する。
提案手法は,移動自在な3DCNNネットワークを用いて,一連の粗い活動キューを生成するために拘束された動きに依存している。
論文 参考訳(メタデータ) (2023-05-13T01:28:28Z) - Optical flow estimation from event-based cameras and spiking neural
networks [0.4899818550820575]
イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である
教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。
分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
論文 参考訳(メタデータ) (2023-02-13T16:17:54Z) - Self-Configurable Stabilized Real-Time Detection Learning for Autonomous
Driving Applications [15.689145350449737]
光フロー推定による物体検出ニューラルネットワークの性能向上を図る。
動的車両環境に合うように光の流れを使うかどうかを適応的に決定する。
実演では,提案フレームワークの精度が3.02%向上し,検出対象数が59.6%向上し,計算の待ち行列安定性が向上した。
論文 参考訳(メタデータ) (2022-09-29T03:11:33Z) - StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。
本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。
本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
論文 参考訳(メタデータ) (2022-07-21T12:03:02Z) - Spatio-Temporal Recurrent Networks for Event-Based Optical Flow
Estimation [47.984368369734995]
本稿では,イベントベース光フロー推定のためのニューラルネットアーキテクチャを提案する。
このネットワークは、Multi-Vehicle Stereo Event Cameraデータセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。
既存の最先端の手法を大きなマージンで上回る結果が得られた。
論文 参考訳(メタデータ) (2021-09-10T13:37:37Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳(メタデータ) (2021-03-08T03:09:37Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-03-04T12:45:18Z) - Back to Event Basics: Self-Supervised Learning of Image Reconstruction
for Event Cameras via Photometric Constancy [0.0]
イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。
本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。
複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
論文 参考訳(メタデータ) (2020-09-17T13:30:05Z) - PAN: Towards Fast Action Recognition via Learning Persistence of
Appearance [60.75488333935592]
最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。
本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。
我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。
光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
論文 参考訳(メタデータ) (2020-08-08T07:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。