論文の概要: hARMS: A Hardware Acceleration Architecture for Real-Time Event-Based
Optical Flow
- arxiv url: http://arxiv.org/abs/2112.06772v1
- Date: Mon, 13 Dec 2021 16:27:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-14 18:38:32.792652
- Title: hARMS: A Hardware Acceleration Architecture for Real-Time Event-Based
Optical Flow
- Title（参考訳）: hARMS:リアルタイムイベントベース光フローのためのハードウェアアクセラレーションアーキテクチャ
- Authors: Daniel C. Stumpp, Himanshu Akolkar, Alan D. George, Ryad B. Benosman
- Abstract要約: イベントベースの視覚センサは、視覚シーンの変化に基づいて、時間分解能の高い非同期イベントストリームを生成する。
イベントデータから光の流れを計算するための既存の解は、開口問題により運動の真の方向を捉えることができない。
本稿では,低消費電力な組込みプラットフォーム上での真の流れのリアルタイム計算を可能にするfARMSアルゴリズムのハードウェア実現について述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event-based vision sensors produce asynchronous event streams with high
temporal resolution based on changes in the visual scene. The properties of
these sensors allow for accurate and fast calculation of optical flow as events
are generated. Existing solutions for calculating optical flow from event data
either fail to capture the true direction of motion due to the aperture
problem, do not use the high temporal resolution of the sensor, or are too
computationally expensive to be run in real time on embedded platforms. In this
research, we first present a faster version of our previous algorithm, ARMS
(Aperture Robust Multi-Scale flow). The new optimized software version (fARMS)
significantly improves throughput on a traditional CPU. Further, we present
hARMS, a hardware realization of the fARMS algorithm allowing for real-time
computation of true flow on low-power, embedded platforms. The proposed hARMS
architecture targets hybrid system-on-chip devices and was designed to maximize
configurability and throughput. The hardware architecture and fARMS algorithm
were developed with asynchronous neuromorphic processing in mind, abandoning
the common use of an event frame and instead operating using only a small
history of relevant events, allowing latency to scale independently of the
sensor resolution. This change in processing paradigm improved the estimation
of flow directions by up to 73% compared to the existing method and yielded a
demonstrated hARMS throughput of up to 1.21 Mevent/s on the benchmark
configuration selected. This throughput enables real-time performance and makes
it the fastest known realization of aperture-robust, event-based optical flow
to date.
- Abstract（参考訳）: イベントベースの視覚センサは、視覚シーンの変化に基づいて、時間分解能の高い非同期イベントストリームを生成する。
これらのセンサーの特性は、イベントが発生すると光学的流れを正確かつ高速に計算できる。
イベントデータから光学的流れを計算する既存のソリューションは、開口問題による運動の真の方向を捉えることができないか、センサーの高時間分解能を使用しないか、組込みプラットフォーム上でリアルタイムに実行するには計算コストがかかりすぎる。
本研究では,従来のアルゴリズムであるARMS(Aperture Robust Multi-Scale Flow)の高速化について述べる。
新しい最適化ソフトウェアバージョン(fARMS)は、従来のCPUのスループットを大幅に改善する。
さらに,低消費電力な組込みプラットフォーム上での真の流れのリアルタイム計算を可能にするfARMSアルゴリズムのハードウェア実現法であるhARMSを提案する。
提案したhARMSアーキテクチャはハイブリッドなシステムオンチップデバイスをターゲットにしており、構成性とスループットを最大化するように設計されている。
ハードウェアアーキテクチャとfARMSアルゴリズムは非同期ニューロモルフィック処理を念頭に置いて開発され、イベントフレームの共通使用を放棄し、関連するイベントの小さな履歴のみを使用して動作し、センサーの解像度とは独立してレイテンシをスケールできる。
この処理パラダイムの変更により、既存の方法と比較して最大73%のフロー方向の推定が向上し、選択したベンチマーク設定で最大1.21Mevent/sのhARMSスループットが得られた。
このスループットにより、リアルタイムのパフォーマンスを実現し、Aperture-robust, event-based optical flowをこれまでで最速で実現した。
関連論文リスト
- SDformerFlow: Spatiotemporal swin spikeformer for event-based optical flow estimation [10.696635172502141]
イベントカメラは、光強度の変化をキャプチャする非同期でスパースなイベントストリームを生成する。
スパイキングニューラルネットワーク(SNN)も同様の非同期特性とスパース特性を共有しており、イベントカメラに適している。
本稿では,STTFlowNetとSDFlowformerという,高速かつ堅牢なイベントカメラ用光フロー推定手法を提案する。
論文 参考訳（メタデータ） (2024-09-06T07:48:18Z) - Fast Window-Based Event Denoising with Spatiotemporal Correlation
Enhancement [85.66867277156089]
同時にイベントのスタックを扱うウィンドウベースのイベントデノゲーションを提案する。
空間領域では、実世界の事象と雑音を識別するために、最大後部(MAP)を選択する。
我々のアルゴリズムは、イベントノイズを効果的かつ効率的に除去し、下流タスクの性能を向上させることができる。
論文 参考訳（メタデータ） (2024-02-14T15:56:42Z) - Neuromorphic Optical Flow and Real-time Implementation with Event
Cameras [47.11134388304464]
イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。
我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。
約2桁の複雑さで高速な光流予測を行う。
論文 参考訳（メタデータ） (2023-04-14T14:03:35Z) - Optical flow estimation from event-based cameras and spiking neural
networks [0.4899818550820575]
イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である
教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。
分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
論文 参考訳（メタデータ） (2023-02-13T16:17:54Z) - Fast Event-based Optical Flow Estimation by Triplet Matching [13.298845944779108]
イベントカメラは、従来のカメラ(低レイテンシ、高ダイナミックレンジ、低電力など)よりも利点がある。
イベントのパケットを扱う光フロー推定法は、正確性のために速度をトレードオフする。
本稿では,三重項マッチングに基づく新しい光フロー推定手法を提案する。
論文 参考訳（メタデータ） (2022-12-23T09:12:16Z) - Globally Optimal Event-Based Divergence Estimation for Ventral Landing [55.29096494880328]
イベントセンシングはバイオインスパイアされた飛行誘導と制御システムの主要なコンポーネントである。
本研究では, イベントカメラを用いた腹側着陸時の表面との接触時間予測について検討する。
これは、着陸時に発生する事象の流れから放射光の流れの速度である発散(逆TTC)を推定することで達成される。
我々のコアコントリビューションは、イベントベースの発散推定のための新しいコントラスト最大化定式化と、コントラストを正確に最大化し、最適な発散値を求めるブランチ・アンド・バウンドアルゴリズムである。
論文 参考訳（メタデータ） (2022-09-27T06:00:52Z) - Real-time Object Detection for Streaming Perception [84.2559631820007]
ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。
ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。
提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
論文 参考訳（メタデータ） (2022-03-23T11:33:27Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳（メタデータ） (2022-03-02T11:28:47Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - Dynamic Resource-aware Corner Detection for Bio-inspired Vision Sensors [0.9988653233188148]
本稿では,組込みシステム上でリアルタイムにイベントストリームから非同期コーナーを検出するアルゴリズムを提案する。
提案アルゴリズムは,近隣住民の中から最適なコーナー候補を選択することができ,平均実行時間を59パーセント削減することができる。
論文 参考訳（メタデータ） (2020-10-29T12:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。