論文の概要: Ultrafast vision perception by neuromorphic optical flow
- arxiv url: http://arxiv.org/abs/2409.15345v1
- Date: Tue, 10 Sep 2024 10:59:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 19:54:40.779120
- Title: Ultrafast vision perception by neuromorphic optical flow
- Title（参考訳）: ニューロモルフィック光流による超高速視知覚
- Authors: Shengbo Wang, Shuo Gao, Tongming Pu, Liangbing Zhao, Arokia Nathan,
- Abstract要約: 3次元ニューロモルフィック光フロー法は,外的運動特徴を直接ハードウェアに埋め込む。
実演では,視覚的なデータ処理時間を平均0.3秒短縮する。
ニューロモルフィック光フローアルゴリズムの柔軟性は、既存のアルゴリズムとのシームレスな統合を可能にする。
- 参考スコア（独自算出の注目度）: 1.1980928503177917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optical flow is crucial for robotic visual perception, yet current methods primarily operate in a 2D format, capturing movement velocities only in horizontal and vertical dimensions. This limitation results in incomplete motion cues, such as missing regions of interest or detailed motion analysis of different regions, leading to delays in processing high-volume visual data in real-world settings. Here, we report a 3D neuromorphic optical flow method that leverages the time-domain processing capability of memristors to embed external motion features directly into hardware, thereby completing motion cues and dramatically accelerating the computation of movement velocities and subsequent task-specific algorithms. In our demonstration, this approach reduces visual data processing time by an average of 0.3 seconds while maintaining or improving the accuracy of motion prediction, object tracking, and object segmentation. Interframe visual processing is achieved for the first time in UAV scenarios. Furthermore, the neuromorphic optical flow algorithm's flexibility allows seamless integration with existing algorithms, ensuring broad applicability. These advancements open unprecedented avenues for robotic perception, without the trade-off between accuracy and efficiency.
- Abstract（参考訳）: 光の流れはロボットの視覚知覚にとって重要であるが、現在の手法は主に2次元のフォーマットで動作し、水平と垂直の次元でのみ移動速度を捉えている。
この制限は、関心の欠如や異なる領域の詳細な動き分析のような不完全な動きの手がかりとなり、現実世界の設定で高ボリュームの視覚データを処理するのに遅延を引き起こす。
本稿では,メムリスタの時間領域処理機能を活用して外部動作特徴を直接ハードウェアに埋め込む3次元ニューロモルフィック光フロー法について報告する。
本実験では, 動作予測, 物体追跡, 物体セグメンテーションの精度を維持・改善しながら, 平均0.3秒で視覚データ処理時間を短縮する。
フレーム間視覚処理は、UAVシナリオで初めて達成される。
さらに、ニューロモルフィック光フローアルゴリズムの柔軟性は、既存のアルゴリズムとのシームレスな統合を可能にし、幅広い適用性を保証する。
これらの進歩は、正確性と効率のトレードオフなしに、ロボット知覚のための前例のない道を開いた。
関連論文リスト
- Neuromorphic Optical Flow and Real-time Implementation with Event
Cameras [47.11134388304464]
イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。
我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。
約2桁の複雑さで高速な光流予測を行う。
論文 参考訳（メタデータ） (2023-04-14T14:03:35Z) - Correlating sparse sensing for large-scale traffic speed estimation: A
Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。
次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-10-21T07:25:57Z) - Time-lapse image classification using a diffractive neural network [0.0]
回折ネットワークを用いたタイムラプス画像分類方式を初めて示す。
CIFAR-10データセットからの物体の光学的分類におけるブラインドテスト精度は62.03%である。
これは、これまで1つの回折ネットワークを用いて達成された最も高い推測精度を構成する。
論文 参考訳（メタデータ） (2022-08-23T08:16:30Z) - Motion-aware Memory Network for Fast Video Salient Object Detection [15.967509480432266]
我々は、隣接するフレームから現在のフレームの有用な時間情報をVSODの時間枝として抽出する時空間メモリ(STM)ベースのネットワークを設計する。
符号化段階では、電流とその隣接するフレームから高次特徴を用いて高次時間特徴を生成する。
復号化段階では,空間的および時間的分岐に対する効果的な融合戦略を提案する。
提案モデルでは,光学フローなどの前処理を必要とせず,推定時に100FPS近い速度に達することができる。
論文 参考訳（メタデータ） (2022-08-01T15:56:19Z) - Ultra-low Latency Spiking Neural Networks with Spatio-Temporal
Compression and Synaptic Convolutional Block [4.081968050250324]
スパイキングニューラルネットワーク(SNN)は、神経時間情報能力、低処理機能、高い生物学的妥当性を有する。
Neuro-MNIST、CIFAR10-S、DVS128ジェスチャデータセットは、個々のイベントをフレームに集約し、イベントストリーム分類の時間分解能を高める必要がある。
本研究では,NIST電流の時間ステップに個々のイベントを集約し,トレーニングや推論の遅延を低減する処理時間圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-03-18T15:14:13Z) - Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。
粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
論文 参考訳（メタデータ） (2021-05-08T03:50:45Z) - Reinforcement Learning with Latent Flow [78.74671595139613]
Flow of Latents for Reinforcement Learning (Flare)はRLのためのネットワークアーキテクチャであり、潜時ベクトル差分を通じて時間情報を明示的に符号化する。
本研究では,Frareが状態速度に明示的にアクセスすることなく,状態ベースRLの最適性能を回復することを示す。
我々はまた、FlareがDeepMindコントロールベンチマークスイート内のピクセルベースの挑戦的な連続制御タスクで最先端のパフォーマンスを達成することも示しています。
論文 参考訳（メタデータ） (2021-01-06T03:50:50Z) - DS-Net: Dynamic Spatiotemporal Network for Video Salient Object
Detection [78.04869214450963]
時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。
提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-12-09T06:42:30Z) - PAN: Towards Fast Action Recognition via Learning Persistence of
Appearance [60.75488333935592]
最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。
本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。
我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。
光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
論文 参考訳（メタデータ） (2020-08-08T07:09:54Z) - A Neuromorphic Proto-Object Based Dynamic Visual Saliency Model with an
FPGA Implementation [1.2387676601792899]
本稿では, プロトオブジェクトの概念に基づくニューロモルフィック, ボトムアップ, ダイナミックビジュアル・サリエンシ・モデルを提案する。
このモデルは、一般的に使用されるビデオデータセット上で人間の目の固定を予測する際に、最先端のダイナミック・ビジュアル・サリエンシ・モデルより優れている。
我々は、Opal Kelly 7350 Kintex-7ボード上で、フィールドプログラマブルゲートアレイによるモデルの実装を紹介する。
論文 参考訳（メタデータ） (2020-02-27T03:31:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。