論文の概要: Visual Odometry with Neuromorphic Resonator Networks
- arxiv url: http://arxiv.org/abs/2209.02000v3
- Date: Wed, 26 Jun 2024 10:17:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 20:13:23.260491
- Title: Visual Odometry with Neuromorphic Resonator Networks
- Title（参考訳）: ニューロモルフィック共振器ネットワークを用いた視覚計測
- Authors: Alpha Renner, Lazar Supic, Andreea Danielescu, Giacomo Indiveri, E. Paxon Frady, Friedrich T. Sommer, Yulia Sandamirskaya,
- Abstract要約: 視覚オドメトリー(英語: Visual Odometry, VO)は、視覚センサを用いた移動ロボットの自走を推定する手法である。
ニューロモルフィックハードウェアは多くのビジョンとAI問題に対する低消費電力のソリューションを提供する。
本稿では,2次元VOタスクにおける最先端性能を実現するモジュール型ニューロモルフィックアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 9.903137966539898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual Odometry (VO) is a method to estimate self-motion of a mobile robot using visual sensors. Unlike odometry based on integrating differential measurements that can accumulate errors, such as inertial sensors or wheel encoders, visual odometry is not compromised by drift. However, image-based VO is computationally demanding, limiting its application in use cases with low-latency, -memory, and -energy requirements. Neuromorphic hardware offers low-power solutions to many vision and AI problems, but designing such solutions is complicated and often has to be assembled from scratch. Here we propose to use Vector Symbolic Architecture (VSA) as an abstraction layer to design algorithms compatible with neuromorphic hardware. Building from a VSA model for scene analysis, described in our companion paper, we present a modular neuromorphic algorithm that achieves state-of-the-art performance on two-dimensional VO tasks. Specifically, the proposed algorithm stores and updates a working memory of the presented visual environment. Based on this working memory, a resonator network estimates the changing location and orientation of the camera. We experimentally validate the neuromorphic VSA-based approach to VO with two benchmarks: one based on an event camera dataset and the other in a dynamic scene with a robotic task.
- Abstract（参考訳）: 視覚オドメトリー(英語: Visual Odometry, VO)は、視覚センサを用いた移動ロボットの自走を推定する手法である。
慣性センサーやホイールエンコーダなどの誤差を蓄積できる差分測定の統合に基づくオドメトリーとは異なり、視覚的オドメトリーはドリフトによって損なわれない。
しかし、画像ベースのVOは計算的に要求されており、低レイテンシ、メモリ、エネルギー要求のあるユースケースでの利用を制限する。
ニューロモルフィックハードウェアは多くのビジョンやAI問題に対して低消費電力のソリューションを提供するが、そのようなソリューションの設計は複雑で、しばしばゼロから組み立てる必要がある。
本稿では,ニューロモルフィックハードウェアと互換性のあるアルゴリズムを設計するための抽象化レイヤとしてベクトル記号アーキテクチャ(VSA)を提案する。
シーン解析のためのVSAモデルを構築し,2次元VOタスクにおける最先端性能を実現するモジュール型ニューロモルフィックアルゴリズムを提案する。
具体的には、提案アルゴリズムは、提示された視覚環境の動作メモリを格納し、更新する。
この動作メモリに基づいて、共振器ネットワークは、カメラの位置と向きの変化を推定する。
ロボット作業を伴う動的シーンにおいて,イベントカメラデータセットをベースとした2つのベンチマークを用いて,ニューロモルフィックVSAベースのVOに対するアプローチを実験的に検証した。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - RD-VIO: Robust Visual-Inertial Odometry for Mobile Augmented Reality in
Dynamic Environments [55.864869961717424]
視覚的・視覚的慣性オドメトリーシステムでは、動的シーンや純粋な回転の問題に対処することが通常困難である。
我々はこれらの問題に対処するためにRD-VIOと呼ばれる新しい視覚-慣性オドメトリーシステム(VIO)を設計する。
論文 参考訳（メタデータ） (2023-10-23T16:30:39Z) - Transformer-Based Model for Monocular Visual Odometry: A Video Understanding Approach [0.0]
カメラのポーズを1台のカメラから撮影した画像から推定することは、モバイルロボットの伝統的なタスクである。
深層学習法は、適切なトレーニングと大量のデータを用いて、一般的なものであることが示されている。
本稿では、時間的自己認識機構に基づくTSformer-VOモデルについて、クリップから特徴を抽出し、その動作をエンドツーエンドに推定する。
論文 参考訳（メタデータ） (2023-05-10T13:11:23Z) - Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。
GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。
BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
論文 参考訳（メタデータ） (2023-04-06T14:33:05Z) - Neuromorphic Visual Scene Understanding with Resonator Networks [11.701553530610973]
3つの重要な概念を生かしたニューロモルフィックな解を提案する。
このフレームワークは、複雑な値のベクトルを持つベクトルアーキテクチャに基づいている。
ネットワークは、視覚シーンにおける非可換変換と回転を分解する。
機械ビジョンとロボット工学の現実的な応用シナリオにおいて、同種のアプローチを実証する。
論文 参考訳（メタデータ） (2022-08-26T22:17:52Z) - Multitask AET with Orthogonal Tangent Regularity for Dark Object
Detection [84.52197307286681]
暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。
自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。
我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2022-05-06T16:27:14Z) - FuNNscope: Visual microscope for interactively exploring the loss
landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。
我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。
インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文 参考訳（メタデータ） (2022-04-09T16:41:53Z) - Visual Analysis Motivated Rate-Distortion Model for Image Coding [34.76677294980739]
本稿では,VVC(Versatile Video Coding)イントラ圧縮のための視覚解析によるレート歪みモデルを提案する。
提案モデルには,新しいレート割当戦略と新しい歪み測定モデルという2つの大きな貢献がある。
論文 参考訳（メタデータ） (2021-04-21T02:27:34Z) - Instantaneous Stereo Depth Estimation of Real-World Stimuli with a
Neuromorphic Stereo-Vision Setup [4.28479274054892]
ステレオビジョンのためのスパイクニューラルネットワーク(SNN)アーキテクチャは、ステレオマッチング問題を単純化する可能性がある。
実世界データと混合信号ニューロモルフィックプロセッサに実装された脳インスパイアされたイベントベースのステレオマッチングアーキテクチャを検証する。
論文 参考訳（メタデータ） (2021-04-06T14:31:23Z) - Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for
Online Collision Avoidance [95.86944752753564]
本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。
我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。
本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
論文 参考訳（メタデータ） (2020-07-28T07:34:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。