論文の概要: Fully neuromorphic vision and control for autonomous drone flight
- arxiv url: http://arxiv.org/abs/2303.08778v1
- Date: Wed, 15 Mar 2023 17:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 12:54:36.363259
- Title: Fully neuromorphic vision and control for autonomous drone flight
- Title（参考訳）: 自律飛行のための完全なニューロモルフィックビジョンと制御
- Authors: Federico Paredes-Vall\'es, Jesse Hagenaars, Julien Dupeyroux, Stein
Stroobants, Yingfu Xu, Guido de Croon
- Abstract要約: イベントベースのビジョンとスパイクニューラルネットワークは、同様の特徴を示すことを約束する。
本稿では,ドローン飛行を制御するための完全学習型ニューロモルフィックパイプラインを提案する。
結果は,1回の飛行でより小さなネットワークを実現するためのニューロモルフィックセンシングと処理の可能性を示している。
- 参考スコア（独自算出の注目度）: 5.358212984063069
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Biological sensing and processing is asynchronous and sparse, leading to
low-latency and energy-efficient perception and action. In robotics,
neuromorphic hardware for event-based vision and spiking neural networks
promises to exhibit similar characteristics. However, robotic implementations
have been limited to basic tasks with low-dimensional sensory inputs and motor
actions due to the restricted network size in current embedded neuromorphic
processors and the difficulties of training spiking neural networks. Here, we
present the first fully neuromorphic vision-to-control pipeline for controlling
a freely flying drone. Specifically, we train a spiking neural network that
accepts high-dimensional raw event-based camera data and outputs low-level
control actions for performing autonomous vision-based flight. The vision part
of the network, consisting of five layers and 28.8k neurons, maps incoming raw
events to ego-motion estimates and is trained with self-supervised learning on
real event data. The control part consists of a single decoding layer and is
learned with an evolutionary algorithm in a drone simulator. Robotic
experiments show a successful sim-to-real transfer of the fully learned
neuromorphic pipeline. The drone can accurately follow different ego-motion
setpoints, allowing for hovering, landing, and maneuvering
sideways$\unicode{x2014}$even while yawing at the same time. The neuromorphic
pipeline runs on board on Intel's Loihi neuromorphic processor with an
execution frequency of 200 Hz, spending only 27 $\unicode{x00b5}$J per
inference. These results illustrate the potential of neuromorphic sensing and
processing for enabling smaller, more intelligent robots.
- Abstract（参考訳）: 生物学的センシングと処理は非同期でスパースであり、低遅延でエネルギー効率の良い知覚と行動をもたらす。
ロボット工学において、イベントベースのビジョンとスパイキングニューラルネットワークのためのニューロモルフィックハードウェアは、同様の特性を示すことを約束する。
しかし、ロボットの実装は、現在の組み込みニューロモルフィックプロセッサのネットワークサイズとスパイクニューラルネットワークのトレーニングの困難のために、低次元の感覚入力と運動動作を持つ基本的なタスクに限定されている。
ここでは、自律飛行ドローンを制御するための、初めて完全にニューロモルフィックな視覚制御パイプラインを示す。
具体的には、高次元の生のイベントベースカメラデータを受け入れ、自律的な視覚ベースの飛行を行うための低レベル制御アクションを出力するスパイクニューラルネットワークを訓練する。
ネットワークの視覚部分は5つの層と28.8kニューロンで構成され、生のイベントをエゴモーションの推定にマッピングし、実際のイベントデータに基づく自己教師型学習で訓練される。
制御部は、1つの復号層で構成され、ドローンシミュレータで進化的アルゴリズムで学習される。
ロボット実験は、完全に学習されたニューロモルフィックパイプラインのシミュレートから現実への移行に成功したことを示す。
ドローンは、異なるエゴモーションのセットポイントを正確に追跡でき、ホバリング、着陸、横方向の操作が可能で、同時にヨーイングしながらも$\unicode{x2014}$evenで操作できる。
ニューロモルフィックパイプラインはIntelのLoihiニューロモルフィックプロセッサ上で動作し、実行周波数は200Hzであり、推論あたり27$\unicode{x00b5}$Jしか使用していない。
これらの結果は、より小型でインテリジェントなロボットを実現するためのニューロモルフィックセンシングと処理の可能性を示している。
関連論文リスト
- POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳（メタデータ） (2021-12-02T12:45:46Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳（メタデータ） (2021-02-09T10:34:32Z) - Task-relevant Representation Learning for Networked Robotic Perception [74.0215744125845]
本稿では,事前学習されたロボット知覚モデルの最終的な目的と協調して設計された感覚データのタスク関連表現を学習するアルゴリズムを提案する。
本アルゴリズムは,ロボットの知覚データを競合する手法の最大11倍まで積極的に圧縮する。
論文 参考訳（メタデータ） (2020-11-06T07:39:08Z) - Robust trajectory generation for robotic control on the neuromorphic
research chip Loihi [0.0]
我々は、最近開発されたスパイクニューラルネットワークモデル、いわゆる異方性ネットワークを利用する。
我々は,Loihi上の異方性ネットワークが神経活動の逐次パターンを確実に符号化していることを示す。
そこで本研究では,複雑なロボットの動きを生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-26T16:02:39Z) - Nengo and low-power AI hardware for robust, embedded neurorobotics [6.574517227976925]
強靭で組込み型神経ロボティクスシステムを構築する上での4つの主要な課題を特定する。
我々は、Nengoを使用して、CPU、GPU、IntelのニューロモーフィックチップであるLoihi上で動作するニューラルネットワークを開発する2つの例を示す。
論文 参考訳（メタデータ） (2020-07-20T16:17:27Z) - Bio-inspired Gait Imitation of Hexapod Robot Using Event-Based Vision
Sensor and Spiking Neural Network [2.4603302139672003]
人間のような一部の動物は、学習をスピードアップするために周囲の個体を模倣します。
この模倣に基づく学習の複雑な問題は、視覚データと筋運動の関連性を形成する。
本稿では、ニューロモルフィックコンピューティングとイベントベースビジョンに基づくバイオインスパイアされたフィードフォワードアプローチを提案し、歩行模倣問題に対処する。
論文 参考訳（メタデータ） (2020-04-11T17:55:34Z) - Evolved Neuromorphic Control for High Speed Divergence-based Landings of
MAVs [0.0]
小型航空機の着陸制御のためのスパイクニューラルネットワークを開発した。
得られたニューロモルフィックコントローラは,シミュレーションから実世界への堅牢な移動を示す。
私たちの知る限りでは、この研究は現実世界の飛行ロボットの制御ループにスパイクするニューラルネットワークを統合する最初のものである。
論文 参考訳（メタデータ） (2020-03-06T10:19:02Z) - VGAI: End-to-End Learning of Vision-Based Decentralized Controllers for
Robot Swarms [237.25930757584047]
ビジュアル入力のみに基づいて分散制御系を学習することを提案する。
初めて、コミュニケーションと視覚知覚という2つの重要な要素の学習を統合する。
提案する学習フレームワークは,各ロボットが視覚入力からメッセージを取り出すための畳み込みニューラルネットワーク(CNN)と,これらのメッセージの送信,受信,処理を行うためのSwarm全体のグラフニューラルネットワーク(GNN)を組み合わせる。
論文 参考訳（メタデータ） (2020-02-06T15:25:23Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに新しいアピカルデンドライト活性化(ADA)が続くことを示す。
コンピュータビジョン,信号処理,自然言語処理の5つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。