論文の概要: Spiking Neural Networks for Fast-Moving Object Detection on Neuromorphic Hardware Devices Using an Event-Based Camera
- arxiv url: http://arxiv.org/abs/2403.10677v1
- Date: Fri, 15 Mar 2024 20:53:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 22:24:30.283405
- Title: Spiking Neural Networks for Fast-Moving Object Detection on Neuromorphic Hardware Devices Using an Event-Based Camera
- Title(参考訳): イベントベースカメラを用いたニューロモーフィックハードウェアデバイス上での高速物体検出のためのスパイクニューラルネットワーク
- Authors: Andreas Ziegler, Karl Vetter, Thomas Gossard, Jonas Tebbe, Andreas Zell,
- Abstract要約: 本稿では,球検出のためのイベントベースカメラとスパイキングニューラルネットワーク(SNN)を組み合わせた新しいソリューションを提案する。
我々は、複数のニューロモルフィックエッジデバイスにまたがってSNNソリューションを実装し、それらの精度と実行時間の比較を行う。
ロボットのためのSNNソリューションの比較では、ニューロモルフィックエッジデバイス上のSNNがクローズドループロボットシステムでリアルタイムに動作可能であることも示している。
- 参考スコア(独自算出の注目度): 11.735290341808064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Table tennis is a fast-paced and exhilarating sport that demands agility, precision, and fast reflexes. In recent years, robotic table tennis has become a popular research challenge for robot perception algorithms. Fast and accurate ball detection is crucial for enabling a robotic arm to rally the ball back successfully. Previous approaches have employed conventional frame-based cameras with Convolutional Neural Networks (CNNs) or traditional computer vision methods. In this paper, we propose a novel solution that combines an event-based camera with Spiking Neural Networks (SNNs) for ball detection. We use multiple state-of-the-art SNN frameworks and develop a SNN architecture for each of them, complying with their corresponding constraints. Additionally, we implement the SNN solution across multiple neuromorphic edge devices, conducting comparisons of their accuracies and run-times. This furnishes robotics researchers with a benchmark illustrating the capabilities achievable with each SNN framework and a corresponding neuromorphic edge device. Next to this comparison of SNN solutions for robots, we also show that an SNN on a neuromorphic edge device is able to run in real-time in a closed loop robotic system, a table tennis robot in our use case.
- Abstract(参考訳): 卓球(英: Table tennis)は、俊敏性、精度、高速反射を要求される速さで誇張されるスポーツである。
近年,ロボット認識アルゴリズムの研究課題としてロボット卓球が注目されている。
高速かつ正確なボール検出は、ロボットアームが舞踏会を成功させるためには不可欠だ。
これまでは、畳み込みニューラルネットワーク(CNN)や従来のコンピュータビジョン方式を用いたフレームベースのカメラが用いられてきた。
本稿では,球検出のためのイベントベースカメラとスパイキングニューラルネットワーク(SNN)を組み合わせた新しい手法を提案する。
我々は、最先端のSNNフレームワークを複数使用し、それぞれの制約に従ってSNNアーキテクチャを開発する。
さらに、複数のニューロモルフィックエッジデバイスにまたがってSNNソリューションを実装し、それらの精度と実行時間の比較を行う。
これにより、ロボット研究者は、それぞれのSNNフレームワークと対応するニューロモルフィックエッジデバイスで達成可能な能力を示すベンチマークが提供される。
ロボットのためのSNNソリューションの比較では、ニューラルネットワークエッジデバイス上のSNNが、我々のユースケースにおけるテーブルテニスロボットであるクローズドループロボットシステムにおいて、リアルタイムで動作可能であることも示している。
関連論文リスト
- Applications of Spiking Neural Networks in Visual Place Recognition [22.003073159582463]
スパイキングニューラルネットワーク(SNN)は、その潜在的なエネルギー効率と低レイテンシについて、ますます認識されている。
本稿では,視覚的位置認識(VPR)におけるSNNの3つの進歩について述べる。
まず,各SNNが重複しない地理的に異なる場所の集合を表すモジュールSNNを提案する。
次に、複数のネットワークが同じ場所を表すモジュールSNNのアンサンブルを提示し、精度を大幅に向上させる。
論文 参考訳(メタデータ) (2023-11-22T06:26:24Z) - Deep Neural Network Architecture Search for Accurate Visual Pose
Estimation aboard Nano-UAVs [69.19616451596342]
小型無人航空機(UAV)は、新興かつトレンドのトピックである。
我々は、新しいニューラルネットワーク探索(NAS)技術を活用し、視覚的ポーズ推定タスクのために複数の畳み込みニューラルネットワーク(CNN)を自動的に識別する。
その結果,10Hz@10mWおよび50Hz@90mWの実時間オンボード推算速度を達成しつつ,フィールド内制御誤差を32%低減し,現状を改善できた。
論文 参考訳(メタデータ) (2023-03-03T14:02:09Z) - LaneSNNs: Spiking Neural Networks for Lane Detection on the Loihi
Neuromorphic Processor [12.47874622269824]
我々は、イベントベースのカメラ入力を用いて、道路にマークされた車線を検出するための新しいSNNベースのアプローチであるLaneSNNを提案する。
我々は、学習したSNNモデルをIntel Loihi Neuromorphic Research Chipに実装し、マッピングする。
損失関数に対して,重み付き二元交叉エントロピー(WCE)と平均二乗誤差(MSE)の線形合成に基づく新しい手法を開発した。
論文 参考訳(メタデータ) (2022-08-03T14:51:15Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Event-based Video Reconstruction via Potential-assisted Spiking Neural
Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。
完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。
スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文 参考訳(メタデータ) (2022-01-25T02:05:20Z) - Fully Spiking Variational Autoencoder [66.58310094608002]
スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。
本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
論文 参考訳(メタデータ) (2021-09-26T06:10:14Z) - CarSNN: An Efficient Spiking Neural Network for Event-Based Autonomous
Cars on the Loihi Neuromorphic Research Processor [15.093607722961407]
スパイキングニューラルネットワーク(SNN)は低レイテンシと低消費電力で高性能を実現する。
本稿では、イベントベースカメラに接続されたSNNを用いて、自律運転(AD)の重要な問題に直面する。
実験はオフラインで教師付き学習規則に従って行われ、学習したSNNモデルをIntel Loihi Neuromorphic Research Chipにマッピングする。
論文 参考訳(メタデータ) (2021-07-01T12:20:48Z) - Neuroevolution of a Recurrent Neural Network for Spatial and Working
Memory in a Simulated Robotic Environment [57.91534223695695]
我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。
提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
論文 参考訳(メタデータ) (2021-02-25T02:13:52Z) - An Efficient Spiking Neural Network for Recognizing Gestures with a DVS
Camera on the Loihi Neuromorphic Processor [12.118084418840152]
Spiking Neural Networks(SNN)は、機械学習ベースのアプリケーションにおいて注目を浴びている。
本稿では,対応するディープニューラルネットワーク(DNN)とほぼ同じ精度のSNNの設計手法を示す。
我々のSNNは89.64%の分類精度を達成し、37のLoihiコアしか占有していない。
論文 参考訳(メタデータ) (2020-05-16T17:00:10Z) - Event-Based Angular Velocity Regression with Spiking Networks [51.145071093099396]
スパイキングニューラルネットワーク(SNN)は、数値ではなく時間スパイクとして伝達される情報を処理する。
本稿では,イベントカメラから与えられた事象の時間回帰問題を初めて提案する。
角速度回帰を行うためにSNNをうまく訓練できることが示される。
論文 参考訳(メタデータ) (2020-03-05T17:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。