論文の概要: Low Latency Visual Inertial Odometry with On-Sensor Accelerated Optical Flow for Resource-Constrained UAVs
- arxiv url: http://arxiv.org/abs/2406.13345v1
- Date: Wed, 19 Jun 2024 08:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 22:30:00.663645
- Title: Low Latency Visual Inertial Odometry with On-Sensor Accelerated Optical Flow for Resource-Constrained UAVs
- Title（参考訳）: 資源拘束型UAVのためのオンセンサー加速光流を用いた低遅延視覚慣性オドメトリー
- Authors: Jonas Kühne, Michele Magno, Luca Benini,
- Abstract要約: オンセンサーハードウェアアクセラレーションは、低遅延視覚慣性オドメトリー(VIO)を実現するための有望なアプローチである
本稿では,グローバルシャッターカメラとアプリケーション固有集積回路(ASIC)を組み合わせたコンパクトなOFセンサを利用したVIOセンサシステムの高速化について検討する。
VINS-Monoパイプラインの機能追跡ロジックをこのOFカメラのデータに置き換えることで、49.4%のレイテンシの削減と、元のVINS-Mono実装よりも53.7%の計算負荷の削減を実証した。
- 参考スコア（独自算出の注目度）: 13.037162115493393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual Inertial Odometry (VIO) is the task of estimating the movement trajectory of an agent from an onboard camera stream fused with additional Inertial Measurement Unit (IMU) measurements. A crucial subtask within VIO is the tracking of features, which can be achieved through Optical Flow (OF). As the calculation of OF is a resource-demanding task in terms of computational load and memory footprint, which needs to be executed at low latency, especially in robotic applications, OF estimation is today performed on powerful CPUs or GPUs. This restricts its use in a broad spectrum of applications where the deployment of such powerful, power-hungry processors is unfeasible due to constraints related to cost, size, and power consumption. On-sensor hardware acceleration is a promising approach to enable low latency VIO even on resource-constrained devices such as nano drones. This paper assesses the speed-up in a VIO sensor system exploiting a compact OF sensor consisting of a global shutter camera and an Application Specific Integrated Circuit (ASIC). By replacing the feature tracking logic of the VINS-Mono pipeline with data from this OF camera, we demonstrate a 49.4% reduction in latency and a 53.7% reduction of compute load of the VIO pipeline over the original VINS-Mono implementation, allowing VINS-Mono operation up to 50 FPS instead of 20 FPS on the quad-core ARM Cortex-A72 processor of a Raspberry Pi Compute Module 4.
- Abstract（参考訳）: 視覚慣性オドメトリー (VIO) は、車載カメラストリームからエージェントの運動軌跡を推定し、追加の慣性計測ユニット (IMU) 測定で融合させる作業である。
VIO内の重要なサブタスクは、光学フロー(OF)を通じて達成できる機能のトラッキングである。
計算負荷とメモリフットプリントの観点からはOFの計算はリソース要求のタスクであり、特にロボットアプリケーションにおいて低レイテンシで実行する必要があるため、今日では強力なCPUやGPU上で推定が行われる。
これにより、コスト、サイズ、消費電力に関連する制約のため、強力なパワーハングリープロセッサの配備が不可能な幅広いアプリケーションでの使用が制限される。
オンセンサーハードウェアアクセラレーションは、ナノドローンのようなリソース制約のあるデバイスでも低レイテンシVIOを実現するための有望なアプローチである。
本稿では,グローバルシャッターカメラとアプリケーション固有集積回路(ASIC)からなるコンパクトなOFセンサを利用したVIOセンサシステムの高速化を評価する。
VINS-Monoパイプラインの機能追跡ロジックをこのカメラからのデータに置き換えることで、49.4%のレイテンシ削減と53.7%の計算負荷削減を実現し、Raspberry Pi Compute Module 4のクアッドコアARM Cortex-A72プロセッサ上の20 FPSではなく、最大50 FPSまでのVINS-Mono動作を可能にする。
関連論文リスト
- SpiDR: A Reconfigurable Digital Compute-in-Memory Spiking Neural Network Accelerator for Event-based Perception [8.968583287058959]
スパイキングニューラルネットワーク(SNN)は、ダイナミックビジョンセンサー(DVS)によって生成された非同期時間データを効率的に処理する方法を提供する。
既存のSNNアクセラレータは、多様なニューロンモデル、ビット精度、ネットワークサイズへの適応性の制限に悩まされている。
本稿では,CIM (Citical Compute-in-Memory) SNNアクセラレーターを,拡張性および再構成性を備えたチップ名として提案する。
論文 参考訳（メタデータ） (2024-11-05T06:59:02Z) - SATAY: A Streaming Architecture Toolflow for Accelerating YOLO Models on
FPGA Devices [48.47320494918925]
この作業は、超低レイテンシアプリケーションのために、最先端のオブジェクト検出モデルをFPGAデバイスにデプロイする際の課題に対処する。
YOLOアクセラレータにはストリーミングアーキテクチャ設計を採用しており、チップ上で完全なモデルを深くパイプライン化して実装しています。
データフロー方式でYOLOモデルの動作をサポートする新しいハードウェアコンポーネントを導入し、オンチップメモリリソースの制限に対処するために、オフチップメモリバッファリングを導入する。
論文 参考訳（メタデータ） (2023-09-04T13:15:01Z) - Speck: A Smart event-based Vision Sensor with a low latency 327K Neuron Convolutional Neuronal Network Processing Pipeline [5.8859061623552975]
我々は、イベントベースのカメラと低消費電力非同期スパイク畳み込みニューラルネットワーク(sCNN)コンピューティングアーキテクチャを単一チップ上に組み込んだ、チップ上のスマートビジョンセンサシステム(SoC)を提案する。
センサと処理を1つのダイに組み合わせることで、ユニット生産コストを大幅に削減できる。
非同期アーキテクチャ、個々のブロック、およびsCNN処理原理と他のsCNN対応プロセッサに対するベンチマークを示す。
論文 参考訳（メタデータ） (2023-04-13T19:28:57Z) - Optical flow estimation from event-based cameras and spiking neural
networks [0.4899818550820575]
イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である
教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。
分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
論文 参考訳（メタデータ） (2023-02-13T16:17:54Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - hARMS: A Hardware Acceleration Architecture for Real-Time Event-Based
Optical Flow [0.0]
イベントベースの視覚センサは、視覚シーンの変化に基づいて、時間分解能の高い非同期イベントストリームを生成する。
イベントデータから光の流れを計算するための既存の解は、開口問題により運動の真の方向を捉えることができない。
本稿では,低消費電力な組込みプラットフォーム上での真の流れのリアルタイム計算を可能にするfARMSアルゴリズムのハードウェア実現について述べる。
論文 参考訳（メタデータ） (2021-12-13T16:27:17Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware
Multi-Task NLP Inference [82.1584439276834]
BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。
We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
論文 参考訳（メタデータ） (2020-11-28T19:21:47Z) - EBBINNOT: A Hardware Efficient Hybrid Event-Frame Tracker for Stationary
Dynamic Vision Sensors [5.674895233111088]
本稿では,静止型ニューロモルフィックセンサによって記録された物体を検知・追跡するための複合イベントフレーム手法を提案する。
静的DVSの背景除去特性を活用するために,フレーム内のイベントの有無を通知するイベントベースバイナリ画像生成を提案する。
静止DVSベースのトラフィック監視ソリューションが、同時に記録されたRGBフレームベースの方法と比較されるのは、これが初めてである。
論文 参考訳（メタデータ） (2020-05-31T03:01:35Z) - Near-chip Dynamic Vision Filtering for Low-Bandwidth Pedestrian
Detection [99.94079901071163]
本稿では、ダイナミックビジョンセンサ(DVS)を用いた歩行者検出のための新しいエンドツーエンドシステムを提案する。
我々は、複数のセンサがローカル処理ユニットにデータを送信し、検出アルゴリズムを実行するアプリケーションをターゲットにしている。
我々の検出器は450ミリ秒毎に検出を行うことができ、総合的なテストF1スコアは83%である。
論文 参考訳（メタデータ） (2020-04-03T17:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。