論文の概要: Fusing Event-based Camera and Radar for SLAM Using Spiking Neural
Networks with Continual STDP Learning
- arxiv url: http://arxiv.org/abs/2210.04236v1
- Date: Sun, 9 Oct 2022 12:05:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 14:39:36.786278
- Title: Fusing Event-based Camera and Radar for SLAM Using Spiking Neural
Networks with Continual STDP Learning
- Title(参考訳): 連続STDP学習を用いたスパイキングニューラルネットワークを用いたSLAM用イベントベースカメラとレーダ
- Authors: Ali Safa, Tim Verbelen, Ilja Ocket, Andr\'e Bourdoux, Hichem Sahli,
Francky Catthoor, Georges Gielen
- Abstract要約: 本研究では、イベントベースのカメラと、ドローンナビゲーションのための周波数変調連続波(FMCW)レーダを融合した、第一種SLAMアーキテクチャを提案する。
各センサーはバイオインスパイアされたスパイキングニューラルネットワーク(SNN)によって処理され、連続的なスパイク・タイミング・依存塑性(STDP)学習を行う。
DVS-Radar SLAM手法のロバスト性を実証した。
- 参考スコア(独自算出の注目度): 7.667590910539249
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work proposes a first-of-its-kind SLAM architecture fusing an
event-based camera and a Frequency Modulated Continuous Wave (FMCW) radar for
drone navigation. Each sensor is processed by a bio-inspired Spiking Neural
Network (SNN) with continual Spike-Timing-Dependent Plasticity (STDP) learning,
as observed in the brain. In contrast to most learning-based SLAM systems%,
which a) require the acquisition of a representative dataset of the environment
in which navigation must be performed and b) require an off-line training
phase, our method does not require any offline training phase, but rather the
SNN continuously learns features from the input data on the fly via STDP. At
the same time, the SNN outputs are used as feature descriptors for loop closure
detection and map correction. We conduct numerous experiments to benchmark our
system against state-of-the-art RGB methods and we demonstrate the robustness
of our DVS-Radar SLAM approach under strong lighting variations.
- Abstract(参考訳): 本研究は,イベントベースのカメラとfmcw( frequency modulationed continuous wave)レーダをドローンナビゲーションに活用した,its-kind slamアーキテクチャを提案する。
バイオインスパイクスパイキングニューラルネットワーク(snn)によって、各センサーを処理し、脳で観察されるスパイクタイピング依存可塑性(stdp)学習を行う。
ほとんどの学習ベースのslamシステムとは対照的に
a) ナビゲーションを行なわなければならない環境の代表的データセットの取得を要求
b) オフライントレーニングフェーズが必要であり,本手法ではオフライントレーニングフェーズを必要とせず,STDPを介して入力データから連続的に特徴を学習する。
同時に、SNN出力はループクロージャ検出とマップ修正のための特徴記述子として使用される。
我々は,DVS-Radar SLAM手法の強い照明条件下でのロバスト性を実証し,現状のRGB法と比較するために多数の実験を行った。
関連論文リスト
- RFI Detection with Spiking Neural Networks [25.08630315149258]
本研究では、スパイキングニューラルネットワーク(SNN)の天文学的データ処理タスク、特にRFI検出への最初の探索的応用について紹介する。
ANN2SNN変換によりSNN実行に最寄りのラテンネーブラーアルゴリズムとオートエンコーダアーキテクチャを適用する。
我々のアプローチは、HERAデータセットのAUROC、AUPRC、F1の既存の手法と競合するが、LOFAR、Tabascalデータセットでは困難である。
論文 参考訳(メタデータ) (2023-11-24T06:27:08Z) - DYNAP-SE2: a scalable multi-core dynamic neuromorphic asynchronous
spiking neural network processor [2.9175555050594975]
我々は、リアルタイムイベントベーススパイキングニューラルネットワーク(SNN)をプロトタイピングするための、脳にインスパイアされたプラットフォームを提案する。
提案システムは, 短期可塑性, NMDA ゲーティング, AMPA拡散, ホメオスタシス, スパイク周波数適応, コンダクタンス系デンドライトコンパートメント, スパイク伝達遅延などの動的および現実的なニューラル処理現象の直接エミュレーションを支援する。
異なる生物学的に可塑性のニューラルネットワークをエミュレートする柔軟性と、個体群と単一ニューロンの信号の両方をリアルタイムで監視する能力により、基礎研究とエッジコンピューティングの両方への応用のための複雑なニューラルネットワークモデルの開発と検証が可能になる。
論文 参考訳(メタデータ) (2023-10-01T03:48:16Z) - Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-05-22T07:09:35Z) - Classification of Intra-Pulse Modulation of Radar Signals by Feature
Fusion Based Convolutional Neural Networks [5.199765487172328]
本研究では、パルス内変調型レーダ信号を自動的に認識するディープラーニングに基づく新しい手法を提案する。
提案するFF-CNN技術は,現在の最先端技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-05-19T20:18:17Z) - Model-based Deep Learning Receiver Design for Rate-Splitting Multiple
Access [65.21117658030235]
本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。
MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。
その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
論文 参考訳(メタデータ) (2022-05-02T12:23:55Z) - Learning to Estimate RIS-Aided mmWave Channels [50.15279409856091]
そこでは,観測観測のために,既知の基地局とRIS位相制御行列を併用したアップリンクチャネル推定手法を提案する。
推定性能を向上し, トレーニングオーバーヘッドを低減するため, 深部展開法において, mmWaveチャネルの固有チャネル幅を生かした。
提案したディープ・アンフォールディング・ネットワーク・アーキテクチャは,トレーニングオーバーヘッドが比較的小さく,オンライン計算の複雑さも比較的小さく,最小二乗法(LS)法より優れていることが確認された。
論文 参考訳(メタデータ) (2021-07-27T06:57:56Z) - Wireless Sensing With Deep Spectrogram Network and Primitive Based
Autoregressive Hybrid Channel Model [20.670058030653458]
無線センシングに基づくヒューマンモーション認識(hmr)は,シーン理解のための低コスト手法である。
現在のHMRシステムは、レーダー信号を分類するためにサポートベクターマシン(SVM)と畳み込みニューラルネットワーク(CNN)を採用している。
本稿では,残差マッピング技術を利用してHMR性能を向上させるディープ・スペクトログラム・ネットワーク(DSN)を提案する。
論文 参考訳(メタデータ) (2021-04-21T06:33:01Z) - Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for
Online Collision Avoidance [95.86944752753564]
本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。
我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。
本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
論文 参考訳(メタデータ) (2020-07-28T07:34:30Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - Temporal Pulses Driven Spiking Neural Network for Fast Object
Recognition in Autonomous Driving [65.36115045035903]
スパイキングニューラルネットワーク(SNN)を用いた生時間パルスで直接物体認識問題に対処する手法を提案する。
各種データセットを用いて評価した結果,提案手法は最先端の手法に匹敵する性能を示しながら,優れた時間効率を実現している。
論文 参考訳(メタデータ) (2020-01-24T22:58:55Z) - Volterra Neural Networks (VNNs) [24.12314339259243]
本稿では,畳み込みニューラルネットワークの複雑性を低減するために,Volterraフィルタにインスパイアされたネットワークアーキテクチャを提案する。
本稿では,Volterra Neural Network(VNN)の並列実装とその性能について述べる。
提案手法は,動作認識のためのUCF-101およびHMDB-51データセットを用いて評価し,CNN手法よりも優れていた。
論文 参考訳(メタデータ) (2019-10-21T19:22:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。