論文の概要: Neuromorphic Visual Odometry with Resonator Networks
- arxiv url: http://arxiv.org/abs/2209.02000v1
- Date: Mon, 5 Sep 2022 14:57:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 12:22:43.655443
- Title: Neuromorphic Visual Odometry with Resonator Networks
- Title(参考訳): 共振器ネットワークを用いたニューロモルフィックビジュアルオドメトリー
- Authors: Alpha Renner, Lazar Supic, Andreea Danielescu, Giacomo Indiveri, E.
Paxon Frady, Friedrich T. Sommer and Yulia Sandamirskaya
- Abstract要約: ニューロモルフィック実装に適した神経構築ブロックで構築された視覚オドメトリー(VO)のアルゴリズムを提案する。
我々は、ニューロモルフィックロボットのコンピューティングパラダイムとしてVSAをどのように活用できるかを実証する。
- 参考スコア(独自算出の注目度): 11.712062375937386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous agents require self-localization to navigate in unknown
environments. They can use Visual Odometry (VO) to estimate self-motion and
localize themselves using visual sensors. This motion-estimation strategy is
not compromised by drift as inertial sensors or slippage as wheel encoders.
However, VO with conventional cameras is computationally demanding, limiting
its application in systems with strict low-latency, -memory, and -energy
requirements. Using event-based cameras and neuromorphic computing hardware
offers a promising low-power solution to the VO problem. However, conventional
algorithms for VO are not readily convertible to neuromorphic hardware. In this
work, we present a VO algorithm built entirely of neuronal building blocks
suitable for neuromorphic implementation. The building blocks are groups of
neurons representing vectors in the computational framework of Vector Symbolic
Architecture (VSA) which was proposed as an abstraction layer to program
neuromorphic hardware. The VO network we propose generates and stores a working
memory of the presented visual environment. It updates this working memory
while at the same time estimating the changing location and orientation of the
camera. We demonstrate how VSA can be leveraged as a computing paradigm for
neuromorphic robotics. Moreover, our results represent an important step
towards using neuromorphic computing hardware for fast and power-efficient VO
and the related task of simultaneous localization and mapping (SLAM). We
validate this approach experimentally in a robotic task and with an event-based
dataset, demonstrating state-of-the-art performance.
- Abstract(参考訳): 自律エージェントは未知の環境をナビゲートするために自己ローカライゼーションを必要とする。
視覚オドメトリ(vo)を使って自己運動を推定し、視覚センサーを使って自分自身を局所化することができる。
この動き推定戦略は慣性センサーや車輪エンコーダとしてのすべりによって損なわれない。
しかし、従来のカメラとのvoは計算量が必要であり、厳格な低遅延、-メモリ、-エネルギー要求のシステムでの使用を制限する。
イベントベースのカメラとニューロモルフィックコンピューティングハードウェアを使用することで、vo問題に対する有望な低電力ソリューションを提供する。
しかし、従来のVOのアルゴリズムはニューロモルフィックなハードウェアに容易に変換できない。
本研究では,神経型実装に適したニューロン構築ブロックからなるVOアルゴリズムを提案する。
ビルディングブロックは、ニューロモルフィックハードウェアをプログラムするための抽象層として提案されたベクトル記号アーキテクチャ(VSA)の計算フレームワークにおいて、ベクトルを表すニューロンのグループである。
提案するvoネットワークは、提示された視覚環境の動作メモリを生成し記憶する。
この動作メモリを同時に更新し、カメラの位置や方向を推定する。
ニューロモルフィックロボットのコンピューティングパラダイムとしてVSAをどのように活用できるかを実証する。
さらに,本研究の結果は,高速かつ高効率なVOのためのニューロモルフィック・コンピューティング・ハードウェアの利用に向けた重要なステップであり,同時にローカライゼーションとマッピング(SLAM)の課題である。
このアプローチをロボットタスクとイベントベースのデータセットで実験的に検証し,最先端のパフォーマンスを示す。
関連論文リスト
- Ultra-low-power Image Classification on Neuromorphic Hardware [4.253933804255354]
スパイキングニューラルネットワーク(SNN)は、時間的および空間的間隔を利用して超低消費電力の応用を約束する。
空間的特徴に大きく依存する視覚タスクの時間的バックプロパゲーションを用いたSNNの訓練には,計算コストがかかる。
本稿では,最初のスパイクまでの時間に基づく時間的ANN-to-SNN変換法であるQuartzを提案する。
論文 参考訳(メタデータ) (2023-09-28T18:53:43Z) - EventTransAct: A video transformer-based framework for Event-camera
based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。
本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。
イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文 参考訳(メタデータ) (2023-08-25T23:51:07Z) - Hyperdimensional Computing with Spiking-Phasor Neurons [0.9594432031144714]
シンボリックベクトルアーキテクチャ(VSAs)は、構成的推論を表現するための強力なフレームワークである。
スパイキングニューロンの基板上でVSAアルゴリズムを実行し、ニューロモルフィックハードウェア上で効率的に動作させることができる。
論文 参考訳(メタデータ) (2023-02-28T20:09:12Z) - ETLP: Event-based Three-factor Local Plasticity for online learning with
neuromorphic hardware [105.54048699217668]
イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。
また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
論文 参考訳(メタデータ) (2023-01-19T19:45:42Z) - Convolutional Neural Generative Coding: Scaling Predictive Coding to
Natural Images [79.07468367923619]
畳み込み型神経生成符号化(Conv-NGC)を開発した。
我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。
本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
論文 参考訳(メタデータ) (2022-11-22T06:42:41Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - Event-based Video Reconstruction via Potential-assisted Spiking Neural
Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。
完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。
スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文 参考訳(メタデータ) (2022-01-25T02:05:20Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - Instantaneous Stereo Depth Estimation of Real-World Stimuli with a
Neuromorphic Stereo-Vision Setup [4.28479274054892]
ステレオビジョンのためのスパイクニューラルネットワーク(SNN)アーキテクチャは、ステレオマッチング問題を単純化する可能性がある。
実世界データと混合信号ニューロモルフィックプロセッサに実装された脳インスパイアされたイベントベースのステレオマッチングアーキテクチャを検証する。
論文 参考訳(メタデータ) (2021-04-06T14:31:23Z) - A toolbox for neuromorphic sensing in robotics [4.157415305926584]
ロボット上で利用可能なあらゆる種類のセンサからの入力信号をエンコードし、デコードするためのROS(Robot Operating System)ツールボックスを導入する。
このイニシアチブは、ニューロモルフィックAIのロボット統合を刺激し促進することを目的としている。
論文 参考訳(メタデータ) (2021-03-03T23:22:05Z) - Surrogate gradients for analog neuromorphic computing [2.6475944316982942]
デバイスミスマッチに対する自己修正学習は,視覚と音声のベンチマークにおいて,競争力のあるネットワーク性能をもたらすことを示す。
我々の研究は、アナログニューロモルフィックハードウェア上での低エネルギースパイクネットワーク処理のための新しいベンチマークをいくつか設定する。
論文 参考訳(メタデータ) (2020-06-12T14:45:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。