論文の概要: Fully neuromorphic vision and control for autonomous drone flight
- arxiv url: http://arxiv.org/abs/2303.08778v1
- Date: Wed, 15 Mar 2023 17:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 12:54:36.363259
- Title: Fully neuromorphic vision and control for autonomous drone flight
- Title（参考訳）: 自律飛行のための完全なニューロモルフィックビジョンと制御
- Authors: Federico Paredes-Vall\'es, Jesse Hagenaars, Julien Dupeyroux, Stein
Stroobants, Yingfu Xu, Guido de Croon
- Abstract要約: イベントベースのビジョンとスパイクニューラルネットワークは、同様の特徴を示すことを約束する。
本稿では,ドローン飛行を制御するための完全学習型ニューロモルフィックパイプラインを提案する。
結果は,1回の飛行でより小さなネットワークを実現するためのニューロモルフィックセンシングと処理の可能性を示している。
- 参考スコア（独自算出の注目度）: 5.358212984063069
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Biological sensing and processing is asynchronous and sparse, leading to
low-latency and energy-efficient perception and action. In robotics,
neuromorphic hardware for event-based vision and spiking neural networks
promises to exhibit similar characteristics. However, robotic implementations
have been limited to basic tasks with low-dimensional sensory inputs and motor
actions due to the restricted network size in current embedded neuromorphic
processors and the difficulties of training spiking neural networks. Here, we
present the first fully neuromorphic vision-to-control pipeline for controlling
a freely flying drone. Specifically, we train a spiking neural network that
accepts high-dimensional raw event-based camera data and outputs low-level
control actions for performing autonomous vision-based flight. The vision part
of the network, consisting of five layers and 28.8k neurons, maps incoming raw
events to ego-motion estimates and is trained with self-supervised learning on
real event data. The control part consists of a single decoding layer and is
learned with an evolutionary algorithm in a drone simulator. Robotic
experiments show a successful sim-to-real transfer of the fully learned
neuromorphic pipeline. The drone can accurately follow different ego-motion
setpoints, allowing for hovering, landing, and maneuvering
sideways$\unicode{x2014}$even while yawing at the same time. The neuromorphic
pipeline runs on board on Intel's Loihi neuromorphic processor with an
execution frequency of 200 Hz, spending only 27 $\unicode{x00b5}$J per
inference. These results illustrate the potential of neuromorphic sensing and
processing for enabling smaller, more intelligent robots.
- Abstract（参考訳）: 生物学的センシングと処理は非同期でスパースであり、低遅延でエネルギー効率の良い知覚と行動をもたらす。
ロボット工学において、イベントベースのビジョンとスパイキングニューラルネットワークのためのニューロモルフィックハードウェアは、同様の特性を示すことを約束する。
しかし、ロボットの実装は、現在の組み込みニューロモルフィックプロセッサのネットワークサイズとスパイクニューラルネットワークのトレーニングの困難のために、低次元の感覚入力と運動動作を持つ基本的なタスクに限定されている。
ここでは、自律飛行ドローンを制御するための、初めて完全にニューロモルフィックな視覚制御パイプラインを示す。
具体的には、高次元の生のイベントベースカメラデータを受け入れ、自律的な視覚ベースの飛行を行うための低レベル制御アクションを出力するスパイクニューラルネットワークを訓練する。
ネットワークの視覚部分は5つの層と28.8kニューロンで構成され、生のイベントをエゴモーションの推定にマッピングし、実際のイベントデータに基づく自己教師型学習で訓練される。
制御部は、1つの復号層で構成され、ドローンシミュレータで進化的アルゴリズムで学習される。
ロボット実験は、完全に学習されたニューロモルフィックパイプラインのシミュレートから現実への移行に成功したことを示す。
ドローンは、異なるエゴモーションのセットポイントを正確に追跡でき、ホバリング、着陸、横方向の操作が可能で、同時にヨーイングしながらも$\unicode{x2014}$evenで操作できる。
ニューロモルフィックパイプラインはIntelのLoihiニューロモルフィックプロセッサ上で動作し、実行周波数は200Hzであり、推論あたり27$\unicode{x00b5}$Jしか使用していない。
これらの結果は、より小型でインテリジェントなロボットを実現するためのニューロモルフィックセンシングと処理の可能性を示している。
関連論文リスト
- Neuromorphic Attitude Estimation and Control [17.895261339368815]
本研究では、スパイキングニューラルネットワーク(SNN)を用いた最初のニューロモルフィック制御システムを提案する。
そこで本手法を低レベル姿勢推定・制御に応用し,SNNを小さなクラジフリー上に配置する。
我々の研究は、高エネルギー効率で低遅延のニューロモルフィックオートパイロットの基礎となる、ニューロモルフィック・エンド・ツー・エンド制御の実現可能性を示している。
論文 参考訳（メタデータ） (2024-11-21T08:54:45Z) - Spiking Neural Networks as a Controller for Emergent Swarm Agents [8.816729033097868]
既存の研究では、バイナリセンサーとシンプルだが手書きのコントローラー構造のみを備えたロボット群における創発的行動について検討している。
本稿では,特に創発的行動をもたらす局所的相互作用規則を見つけるために,スパイクニューラルネットワークを訓練する可能性について検討する。
論文 参考訳（メタデータ） (2024-10-21T16:41:35Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳（メタデータ） (2021-12-02T12:45:46Z) - Evolved neuromorphic radar-based altitude controller for an autonomous
open-source blimp [4.350434044677268]
本稿では,ロボット飛行船のためのSNNに基づく高度制御器を提案する。
また、SNNベースのコントローラアーキテクチャ、シミュレーション環境でネットワークをトレーニングするための進化的フレームワーク、現実とのギャップを改善するための制御戦略も提示する。
論文 参考訳（メタデータ） (2021-10-01T20:48:43Z) - A toolbox for neuromorphic sensing in robotics [4.157415305926584]
ロボット上で利用可能なあらゆる種類のセンサからの入力信号をエンコードし、デコードするためのROS(Robot Operating System)ツールボックスを導入する。
このイニシアチブは、ニューロモルフィックAIのロボット統合を刺激し促進することを目的としている。
論文 参考訳（メタデータ） (2021-03-03T23:22:05Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳（メタデータ） (2021-02-09T10:34:32Z) - Task-relevant Representation Learning for Networked Robotic Perception [74.0215744125845]
本稿では,事前学習されたロボット知覚モデルの最終的な目的と協調して設計された感覚データのタスク関連表現を学習するアルゴリズムを提案する。
本アルゴリズムは,ロボットの知覚データを競合する手法の最大11倍まで積極的に圧縮する。
論文 参考訳（メタデータ） (2020-11-06T07:39:08Z) - Bio-inspired Gait Imitation of Hexapod Robot Using Event-Based Vision
Sensor and Spiking Neural Network [2.4603302139672003]
人間のような一部の動物は、学習をスピードアップするために周囲の個体を模倣します。
この模倣に基づく学習の複雑な問題は、視覚データと筋運動の関連性を形成する。
本稿では、ニューロモルフィックコンピューティングとイベントベースビジョンに基づくバイオインスパイアされたフィードフォワードアプローチを提案し、歩行模倣問題に対処する。
論文 参考訳（メタデータ） (2020-04-11T17:55:34Z) - VGAI: End-to-End Learning of Vision-Based Decentralized Controllers for
Robot Swarms [237.25930757584047]
ビジュアル入力のみに基づいて分散制御系を学習することを提案する。
初めて、コミュニケーションと視覚知覚という2つの重要な要素の学習を統合する。
提案する学習フレームワークは,各ロボットが視覚入力からメッセージを取り出すための畳み込みニューラルネットワーク(CNN)と,これらのメッセージの送信,受信,処理を行うためのSwarm全体のグラフニューラルネットワーク(GNN)を組み合わせる。
論文 参考訳（メタデータ） (2020-02-06T15:25:23Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。