論文の概要: Neuromorphic Visual Odometry with Resonator Networks

• arxiv url: http://arxiv.org/abs/2209.02000v1
• Date: Mon, 5 Sep 2022 14:57:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 12:22:43.655443
• Title: Neuromorphic Visual Odometry with Resonator Networks
• Title（参考訳）: 共振器ネットワークを用いたニューロモルフィックビジュアルオドメトリー
• Authors: Alpha Renner, Lazar Supic, Andreea Danielescu, Giacomo Indiveri, E. Paxon Frady, Friedrich T. Sommer and Yulia Sandamirskaya
• Abstract要約: ニューロモルフィック実装に適した神経構築ブロックで構築された視覚オドメトリー(VO)のアルゴリズムを提案する。 我々は、ニューロモルフィックロボットのコンピューティングパラダイムとしてVSAをどのように活用できるかを実証する。
• 参考スコア（独自算出の注目度）: 11.712062375937386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous agents require self-localization to navigate in unknown environments. They can use Visual Odometry (VO) to estimate self-motion and localize themselves using visual sensors. This motion-estimation strategy is not compromised by drift as inertial sensors or slippage as wheel encoders. However, VO with conventional cameras is computationally demanding, limiting its application in systems with strict low-latency, -memory, and -energy requirements. Using event-based cameras and neuromorphic computing hardware offers a promising low-power solution to the VO problem. However, conventional algorithms for VO are not readily convertible to neuromorphic hardware. In this work, we present a VO algorithm built entirely of neuronal building blocks suitable for neuromorphic implementation. The building blocks are groups of neurons representing vectors in the computational framework of Vector Symbolic Architecture (VSA) which was proposed as an abstraction layer to program neuromorphic hardware. The VO network we propose generates and stores a working memory of the presented visual environment. It updates this working memory while at the same time estimating the changing location and orientation of the camera. We demonstrate how VSA can be leveraged as a computing paradigm for neuromorphic robotics. Moreover, our results represent an important step towards using neuromorphic computing hardware for fast and power-efficient VO and the related task of simultaneous localization and mapping (SLAM). We validate this approach experimentally in a robotic task and with an event-based dataset, demonstrating state-of-the-art performance.
• Abstract（参考訳）: 自律エージェントは未知の環境をナビゲートするために自己ローカライゼーションを必要とする。 視覚オドメトリ(vo)を使って自己運動を推定し、視覚センサーを使って自分自身を局所化することができる。 この動き推定戦略は慣性センサーや車輪エンコーダとしてのすべりによって損なわれない。 しかし、従来のカメラとのvoは計算量が必要であり、厳格な低遅延、-メモリ、-エネルギー要求のシステムでの使用を制限する。 イベントベースのカメラとニューロモルフィックコンピューティングハードウェアを使用することで、vo問題に対する有望な低電力ソリューションを提供する。 しかし、従来のVOのアルゴリズムはニューロモルフィックなハードウェアに容易に変換できない。 本研究では,神経型実装に適したニューロン構築ブロックからなるVOアルゴリズムを提案する。 ビルディングブロックは、ニューロモルフィックハードウェアをプログラムするための抽象層として提案されたベクトル記号アーキテクチャ(VSA)の計算フレームワークにおいて、ベクトルを表すニューロンのグループである。 提案するvoネットワークは、提示された視覚環境の動作メモリを生成し記憶する。 この動作メモリを同時に更新し、カメラの位置や方向を推定する。 ニューロモルフィックロボットのコンピューティングパラダイムとしてVSAをどのように活用できるかを実証する。 さらに,本研究の結果は,高速かつ高効率なVOのためのニューロモルフィック・コンピューティング・ハードウェアの利用に向けた重要なステップであり,同時にローカライゼーションとマッピング(SLAM)の課題である。 このアプローチをロボットタスクとイベントベースのデータセットで実験的に検証し,最先端のパフォーマンスを示す。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Retina-inspired Object Motion Segmentation [0.0]
  Dynamic Vision Sensors (DVS)は、RGBカメラをはるかに上回る高時間解像度の革命的技術として登場した。 本稿では, バイオインスパイアされたコンピュータビジョンを用いて, 従来よりも1000倍のパラメータ数を劇的に削減する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-18T12:28:26Z)
• RD-VIO: Robust Visual-Inertial Odometry for Mobile Augmented Reality in Dynamic Environments [55.864869961717424]
  視覚的・視覚的慣性オドメトリーシステムでは、動的シーンや純粋な回転の問題に対処することが通常困難である。 我々はこれらの問題に対処するためにRD-VIOと呼ばれる新しい視覚-慣性オドメトリーシステム(VIO)を設計する。
  論文  参考訳（メタデータ） (2023-10-23T16:30:39Z)
• Transformer-based model for monocular visual odometry: a video understanding approach [0.9790236766474201]
  6-Fカメラのポーズを推定するために,映像理解タスクとして単眼視計測を取り扱う。 本稿では,ビデオクリップから特徴を抽出し,その動作をエンドツーエンドに推定する,時間的自己認識機構に基づくTS-DoVOモデルを提案する。 提案手法は,KITTIビジュアル・オドメトリー・データセットを用いた幾何学的,深層学習的手法と比較して,最先端の競合性能を実現した。
  論文  参考訳（メタデータ） (2023-05-10T13:11:23Z)
• Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
  GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。 GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。 BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
  論文  参考訳（メタデータ） (2023-04-06T14:33:05Z)
• Neuromorphic Visual Scene Understanding with Resonator Networks [11.701553530610973]
  3つの重要な概念を生かしたニューロモルフィックな解を提案する。 このフレームワークは、複雑な値のベクトルを持つベクトルアーキテクチャに基づいている。 ネットワークは、視覚シーンにおける非可換変換と回転を分解する。 機械ビジョンとロボット工学の現実的な応用シナリオにおいて、同種のアプローチを実証する。
  論文  参考訳（メタデータ） (2022-08-26T22:17:52Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Instantaneous Stereo Depth Estimation of Real-World Stimuli with a Neuromorphic Stereo-Vision Setup [4.28479274054892]
  ステレオビジョンのためのスパイクニューラルネットワーク(SNN)アーキテクチャは、ステレオマッチング問題を単純化する可能性がある。 実世界データと混合信号ニューロモルフィックプロセッサに実装された脳インスパイアされたイベントベースのステレオマッチングアーキテクチャを検証する。
  論文  参考訳（メタデータ） (2021-04-06T14:31:23Z)
• Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for Online Collision Avoidance [95.86944752753564]
  本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。 我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。 本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
  論文  参考訳（メタデータ） (2020-07-28T07:34:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。