論文の概要: Event-driven Vision and Control for UAVs on a Neuromorphic Chip

• arxiv url: http://arxiv.org/abs/2108.03694v1
• Date: Sun, 8 Aug 2021 17:46:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-11 05:00:23.856699
• Title: Event-driven Vision and Control for UAVs on a Neuromorphic Chip
• Title（参考訳）: ニューロモルフィックチップを用いたUAVのイベント駆動ビジョンと制御
• Authors: Antonio Vitale, Alpha Renner, Celine Nauer, Davide Scaramuzza, and Yulia Sandamirskaya
• Abstract要約: イベントベースのカメラは、より効率的に、より低レイテンシで処理できるイベントのスパースストリームを生成する。 本稿では, ニューロモルフィックチップ上でのスパイク神経ネットワークとしてイベントベースの視覚アルゴリズムを実装し, ドローンの制御装置として利用する方法について述べる。 我々のチップ上のスパイクニューロンネットワークは、高速UAV制御タスクを解くニューロモルフィック視覚ベースのコントローラの最初の例である。
• 参考スコア（独自算出の注目度）: 41.733091458634874
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Event-based vision sensors achieve up to three orders of magnitude better speed vs. power consumption trade off in high-speed control of UAVs compared to conventional image sensors. Event-based cameras produce a sparse stream of events that can be processed more efficiently and with a lower latency than images, enabling ultra-fast vision-driven control. Here, we explore how an event-based vision algorithm can be implemented as a spiking neuronal network on a neuromorphic chip and used in a drone controller. We show how seamless integration of event-based perception on chip leads to even faster control rates and lower latency. In addition, we demonstrate how online adaptation of the SNN controller can be realised using on-chip learning. Our spiking neuronal network on chip is the first example of a neuromorphic vision-based controller solving a high-speed UAV control task. The excellent scalability of processing in neuromorphic hardware opens the possibility to solve more challenging visual tasks in the future and integrate visual perception in fast control loops.
• Abstract（参考訳）: イベントベースのビジョンセンサは、従来のイメージセンサと比較して、uavの高速制御における消費電力のトレードオフを最大3桁向上させる。 イベントベースのカメラは、画像よりも効率的に、低レイテンシで処理可能なイベントのスパースストリームを生成し、超高速ビジョン駆動制御を可能にする。 本稿では,イベントベースの視覚アルゴリズムをニューロモルフィックチップ上でスパイキング神経ネットワークとして実装し,ドローンコントローラとして利用する方法について検討する。 イベントベースの認識をチップにシームレスに統合することで、制御速度が向上し、レイテンシが低下する様子を示す。 さらに,SNNコントローラのオンライン適応をオンチップ学習を用いて実現可能であることを示す。 我々のチップ上のスパイクニューロンネットワークは、高速UAV制御タスクを解くニューロモルフィック視覚ベースのコントローラの最初の例である。 ニューロモルフィックハードウェアにおける処理の優れたスケーラビリティは、将来的により困難な視覚的タスクを解決し、高速な制御ループに視覚知覚を統合する可能性を開く。

関連論文リスト

• Integration of Communication and Computational Imaging [49.2442836992307]
  遠隔認識のためのコミュニケーション・計算画像(ICCI)を統合した新しいフレームワークを提案する。 ICCIフレームワークは、情報ソースの生成から最終ビジョンタスクの実行までの情報損失を最小限に抑えるために、全リンク情報転送最適化を行う。 80km27バンドのハイパースペクトル映像の知覚速度は30fpsである。
  論文  参考訳（メタデータ） (2024-10-25T09:19:59Z)
• EvGNN: An Event-driven Graph Neural Network Accelerator for Edge Vision [0.06752396542927405]
  イベント駆動グラフニューラルネットワーク(GNN)は、スパースイベントベースのビジョンのための有望なソリューションとして登場した。 我々は,低フットプリント,超低レイテンシ,高精度エッジビジョンのための,最初のイベント駆動型GNNアクセラレータであるEvGNNを提案する。
  論文  参考訳（メタデータ） (2024-04-30T12:18:47Z)
• EV-Catcher: High-Speed Object Catching Using Low-latency Event-based Neural Networks [107.62975594230687]
  イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。 イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。 計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-14T15:23:28Z)
• Neuromorphic Optical Flow and Real-time Implementation with Event Cameras [47.11134388304464]
  イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。 我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。 約2桁の複雑さで高速な光流予測を行う。
  論文  参考訳（メタデータ） (2023-04-14T14:03:35Z)
• EDeNN: Event Decay Neural Networks for low latency vision [26.784944204163363]
  我々は、元のイベントデータストリームに近く動作する新しいタイプのニューラルネットワークを開発する。 角速度回帰および競合光学流推定における最先端性能を示す。
  論文  参考訳（メタデータ） (2022-09-09T15:51:39Z)
• Visual Attention Network [90.0753726786985]
  本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。 また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。 VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-02-20T06:35:18Z)
• 1000x Faster Camera and Machine Vision with Ordinary Devices [76.46540270145698]
  我々は、光子の蓄積がしきい値に達したかどうかを各ビットが示すビットシーケンスアレイであるvidarを提示する。 我々は従来のカメラより1000倍高速なヴィダーカメラを開発した。 我々はまた、マシンの速度と生物学的視覚のメカニズムを組み合わせたスパイクニューラルネットワークベースのマシンビジョンシステムを開発した。
  論文  参考訳（メタデータ） (2022-01-23T16:10:11Z)
• Adversarial Attacks on Spiking Convolutional Networks for Event-based Vision [0.6999740786886537]
  我々は、ホワイトボックスの敵対的攻撃アルゴリズムが、イベントベースの視覚データの離散的かつスパースな性質にどのように適応できるかを示す。 また、ニューロモルフィックハードウェア上でのこれらの摂動の有効性を初めて検証した。
  論文  参考訳（メタデータ） (2021-10-06T17:20:05Z)
• Evolved neuromorphic radar-based altitude controller for an autonomous open-source blimp [4.350434044677268]
  本稿では,ロボット飛行船のためのSNNに基づく高度制御器を提案する。 また、SNNベースのコントローラアーキテクチャ、シミュレーション環境でネットワークをトレーニングするための進化的フレームワーク、現実とのギャップを改善するための制御戦略も提示する。
  論文  参考訳（メタデータ） (2021-10-01T20:48:43Z)
• Evolved Neuromorphic Control for High Speed Divergence-based Landings of MAVs [0.0]
  小型航空機の着陸制御のためのスパイクニューラルネットワークを開発した。 得られたニューロモルフィックコントローラは,シミュレーションから実世界への堅牢な移動を示す。 私たちの知る限りでは、この研究は現実世界の飛行ロボットの制御ループにスパイクするニューラルネットワークを統合する最初のものである。
  論文  参考訳（メタデータ） (2020-03-06T10:19:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。