論文の概要: ColibriUAV: An Ultra-Fast, Energy-Efficient Neuromorphic Edge Processing
UAV-Platform with Event-Based and Frame-Based Cameras
- arxiv url: http://arxiv.org/abs/2305.18371v1
- Date: Sat, 27 May 2023 23:08:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 22:01:59.401804
- Title: ColibriUAV: An Ultra-Fast, Energy-Efficient Neuromorphic Edge Processing
UAV-Platform with Event-Based and Frame-Based Cameras
- Title（参考訳）: ColibriUAV: イベントベースカメラとフレームベースカメラを備えた超高速エネルギー効率ニューロモルフィックエッジプロセッシングUAV-Platform
- Authors: Sizhen Bian, Lukas Schulthess, Georg Rutishauser, Alfio Di Mauro, Luca
Benini, Michele Magno
- Abstract要約: ColibriUAVはUAVプラットフォームで、フレームベースとイベントベースの両方のカメラインタフェースを備えている。
Krakenは、DVSカメラからのイベントデータとRGBカメラからのフレームデータの両方を効率的に処理することができる。
本稿では,ニューロモルフィックおよびイベントベースUAVサブシステムのエンドツーエンドレイテンシと電力効率をベンチマークする。
- 参考スコア（独自算出の注目度）: 14.24529561007139
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The interest in dynamic vision sensor (DVS)-powered unmanned aerial vehicles
(UAV) is raising, especially due to the microsecond-level reaction time of the
bio-inspired event sensor, which increases robustness and reduces latency of
the perception tasks compared to a RGB camera. This work presents ColibriUAV, a
UAV platform with both frame-based and event-based cameras interfaces for
efficient perception and near-sensor processing. The proposed platform is
designed around Kraken, a novel low-power RISC-V System on Chip with two
hardware accelerators targeting spiking neural networks and deep ternary neural
networks.Kraken is capable of efficiently processing both event data from a DVS
camera and frame data from an RGB camera. A key feature of Kraken is its
integrated, dedicated interface with a DVS camera. This paper benchmarks the
end-to-end latency and power efficiency of the neuromorphic and event-based UAV
subsystem, demonstrating state-of-the-art event data with a throughput of 7200
frames of events per second and a power consumption of 10.7 \si{\milli\watt},
which is over 6.6 times faster and a hundred times less power-consuming than
the widely-used data reading approach through the USB interface. The overall
sensing and processing power consumption is below 50 mW, achieving latency in
the milliseconds range, making the platform suitable for low-latency autonomous
nano-drones as well.
- Abstract（参考訳）: ダイナミックビジョンセンサ(DVS)を利用した無人航空機(UAV)への関心が高まっており、特にバイオインスパイアされたイベントセンサのマイクロ秒レベルの反応時間により、RGBカメラと比較して堅牢性を高め、知覚タスクの遅延を低減する。
フレームベースとイベントベースの両方のカメラインターフェースを備えたuavプラットフォームで、効率的な知覚と近接センサー処理を実現する。
提案されたプラットフォームは、スパイクニューラルネットワークとディープサーナリーニューラルネットワークをターゲットとする2つのハードウェアアクセラレータを備えた、チップ上の新しい低消費電力risc-vシステムであるkrakenを中心に設計された。krakenは、dvsカメラからのイベントデータとrgbカメラからのフレームデータの両方を効率的に処理することができる。
Krakenの重要な機能は、DVSカメラと統合された専用インターフェースである。
本稿は、ニューロモルフィックおよびイベントベースUAVサブシステムのエンドツーエンドのレイテンシと電力効率をベンチマークし、毎秒7200フレームのイベントのスループットと消費電力10.7 \si{\milli\watt}の電力消費を、USBインターフェースによる広く使われているデータ読取手法に比べて6.6倍、100倍の消費電力で示す。
全体的な検知と処理の消費電力は50mW未満であり、ミリ秒の遅延を達成し、低レイテンシの自律ナノドローンにも適している。
関連論文リスト
- Low Latency Visual Inertial Odometry with On-Sensor Accelerated Optical Flow for Resource-Constrained UAVs [13.037162115493393]
オンセンサーハードウェアアクセラレーションは、低遅延視覚慣性オドメトリー(VIO)を実現するための有望なアプローチである
本稿では,グローバルシャッターカメラとアプリケーション固有集積回路(ASIC)を組み合わせたコンパクトなOFセンサを利用したVIOセンサシステムの高速化について検討する。
VINS-Monoパイプラインの機能追跡ロジックをこのOFカメラのデータに置き換えることで、49.4%のレイテンシの削減と、元のVINS-Mono実装よりも53.7%の計算負荷の削減を実証した。
論文 参考訳（メタデータ） (2024-06-19T08:51:19Z) - Towards Real-Time Fast Unmanned Aerial Vehicle Detection Using Dynamic Vision Sensors [6.03212980984729]
無人航空機(UAV)は民間や軍事用途で人気を集めている。
UAVの予防と検出は、機密性と安全性を保証するために重要である。
本稿では,F-UAV-D(Fast Unmanned Aerial Vehicle Detector)を提案する。
論文 参考訳（メタデータ） (2024-03-18T15:27:58Z) - EventTransAct: A video transformer-based framework for Event-camera
based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。
本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。
イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文 参考訳（メタデータ） (2023-08-25T23:51:07Z) - EV-Catcher: High-Speed Object Catching Using Low-latency Event-based
Neural Networks [107.62975594230687]
イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。
イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。
計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
論文 参考訳（メタデータ） (2023-04-14T15:23:28Z) - Recurrent Vision Transformers for Object Detection with Event Cameras [62.27246562304705]
本稿では,イベントカメラを用いた物体検出のための新しいバックボーンであるリカレントビジョントランス (RVT) を提案する。
RVTは、イベントベースのオブジェクト検出で最先端のパフォーマンスに到達するために、ゼロからトレーニングすることができる。
私たちの研究は、イベントベースのビジョンを超えた研究に役立ち得る効果的なデザイン選択に、新たな洞察をもたらします。
論文 参考訳（メタデータ） (2022-12-11T20:28:59Z) - Sparse Compressed Spiking Neural Network Accelerator for Object
Detection [0.1246030133914898]
スパイキングニューラルネットワーク(SNN)は、人間の脳にインスパイアされ、バイナリスパイクと非常にスパースなアクティベーションマップを送信する。
本稿では, 活性化マップと重みの疎度を生かした, スパース圧縮スパイクニューラルネットワーク加速器を提案する。
ニューラルネットワークの実験結果は、71.5$%$mAPで、ISV 3clsデータセットの混合(1,3)タイムステップを示している。
論文 参考訳（メタデータ） (2022-05-02T09:56:55Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - Fast Motion Understanding with Spatiotemporal Neural Networks and
Dynamic Vision Sensors [99.94079901071163]
本稿では,高速な動きを推論するための動的視覚センサ(DVS)システムを提案する。
ロボットが15m/s以上の速度で接近する小さな物体に反応するケースを考察する。
我々は,23.4m/sで24.73degの誤差を$theta$,18.4mmの平均離散半径予測誤差,衝突予測誤差に対する25.03%の中央値で移動した玩具ダートについて,本システムの結果を強調した。
論文 参考訳（メタデータ） (2020-11-18T17:55:07Z) - RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking [16.06615504110132]
6自由度で3次元物体追跡を高速化するために,イベントベースカメラを提案する。
このアプリケーションは、魅力的なAR体験を伝えるために、非常に高いオブジェクトスピードを扱う必要がある。
我々は,既存のRGB-Dネットワークと新しいイベントベースネットワークをカスケード方式で組み合わせたディープラーニングアプローチを開発した。
論文 参考訳（メタデータ） (2020-06-09T01:55:48Z) - EBBINNOT: A Hardware Efficient Hybrid Event-Frame Tracker for Stationary
Dynamic Vision Sensors [5.674895233111088]
本稿では,静止型ニューロモルフィックセンサによって記録された物体を検知・追跡するための複合イベントフレーム手法を提案する。
静的DVSの背景除去特性を活用するために,フレーム内のイベントの有無を通知するイベントベースバイナリ画像生成を提案する。
静止DVSベースのトラフィック監視ソリューションが、同時に記録されたRGBフレームベースの方法と比較されるのは、これが初めてである。
論文 参考訳（メタデータ） (2020-05-31T03:01:35Z) - Near-chip Dynamic Vision Filtering for Low-Bandwidth Pedestrian
Detection [99.94079901071163]
本稿では、ダイナミックビジョンセンサ(DVS)を用いた歩行者検出のための新しいエンドツーエンドシステムを提案する。
我々は、複数のセンサがローカル処理ユニットにデータを送信し、検出アルゴリズムを実行するアプリケーションをターゲットにしている。
我々の検出器は450ミリ秒毎に検出を行うことができ、総合的なテストF1スコアは83%である。
論文 参考訳（メタデータ） (2020-04-03T17:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。