論文の概要: Neuromorphic spatiotemporal optical flow: Enabling ultrafast visual perception beyond human capabilities

• arxiv url: http://arxiv.org/abs/2409.15345v2
• Date: Thu, 30 Jan 2025 12:20:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:11:40.744402
• Title: Neuromorphic spatiotemporal optical flow: Enabling ultrafast visual perception beyond human capabilities
• Title（参考訳）: ニューロモルフィック時空間光流 : 人間の能力を超えた超高速視知覚の実現
• Authors: Shengbo Wang, Jingwen Zhao, Tongming Pu, Liangbing Zhao, Xiaoyu Guo, Yue Cheng, Cong Li, Weihao Ma, Chenyu Tang, Zhenyu Xu, Ningli Wang, Luigi Occhipinti, Arokia Nathan, Ravinder Dahiya, Huaqiang Wu, Li Tao, Shuo Gao,
• Abstract要約: シナプストランジスタアレイに時間情報を直接符号化することで遅延ボトルネックに対処するニューロモルフィック光フロー手法を提案する。 従来の空間限定光流法と比較して,動作情報の時空間整合性を提供する。 ソフトウェアベンチマークでは、我々のシステムは400%のスピードアップで最先端のアルゴリズムより優れています。
• 参考スコア（独自算出の注目度）: 12.409087198219693
• License:
• Abstract: Optical flow, inspired by the mechanisms of biological visual systems, calculates spatial motion vectors within visual scenes that are necessary for enabling robotics to excel in complex and dynamic working environments. However, current optical flow algorithms, despite human-competitive task performance on benchmark datasets, remain constrained by unacceptable time delays (~0.6 seconds per inference, 4X human processing speed) in practical deployment. Here, we introduce a neuromorphic optical flow approach that addresses delay bottlenecks by encoding temporal information directly in a synaptic transistor array to assist spatial motion analysis. Compared to conventional spatial-only optical flow methods, our spatiotemporal neuromorphic optical flow offers the spatial-temporal consistency of motion information, rapidly identifying regions of interest in as little as 1-2 ms using the temporal motion cues derived from the embedded temporal information in the two-dimensional floating gate synaptic transistors. Thus, the visual input can be selectively filtered to achieve faster velocity calculations and various task execution. At the hardware level, due to the atomically sharp interfaces between distinct functional layers in two-dimensional van der Waals heterostructures, the synaptic transistor offers high-frequency response (~100 {\mu}s), robust non-volatility (>10000 s), and excellent endurance (>8000 cycles), enabling robust visual processing. In software benchmarks, our system outperforms state-of-the-art algorithms with a 400% speedup, frequently surpassing human-level performance while maintaining or enhancing accuracy by utilizing the temporal priors provided by the embedded temporal information.
• Abstract（参考訳）: 生物学的視覚システムのメカニズムにインスパイアされた光の流れは、ロボット工学が複雑でダイナミックな作業環境での運動を可能にするために必要な視覚シーン内の空間運動ベクトルを計算する。 しかしながら、現在の光学フローアルゴリズムは、ベンチマークデータセット上でのヒューマンコンペティティブなタスク性能にもかかわらず、実用的な展開において許容できない時間遅延(推論あたり約0.6秒、人間の処理速度4倍)に制約されている。 本稿では,時間的情報をシナプストランジスタアレイに直接符号化することで遅延ボトルネックに対処し,空間運動解析を支援するニューロモルフィック光フロー手法を提案する。 従来の空間のみの光フロー法と比較して,我々の時空間ニューロモルフィック光フローは,2次元フローティングゲートシナプストランジスタの埋め込み時空間情報から得られた時間的動きキューを用いて,わずか1-2msの関心領域を迅速に同定し,運動情報の時空間整合性を提供する。 これにより、視覚入力を選択的にフィルタリングして高速な速度計算と様々なタスク実行を実現することができる。 ハードウェアレベルでは、2次元ファンデルワールスヘテロ構造における異なる機能層間の原子的に鋭い界面のため、シナプストランジスタは高周波応答(~100 {\mu}s)、頑丈な非揮発性(〜10000 s)、耐久性(〜8000 サイクル)を提供し、堅牢なビジュアル処理を実現する。 ソフトウェアベンチマークでは, 組込み時間情報による時間的事前情報を利用して, 精度を維持し, 精度を向上しながら, 400%のスピードアップで最先端のアルゴリズムの性能を向上する。

関連論文リスト

• Neuromorphic Optical Flow and Real-time Implementation with Event Cameras [47.11134388304464]
  イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。 我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。 約2桁の複雑さで高速な光流予測を行う。
  論文  参考訳（メタデータ） (2023-04-14T14:03:35Z)
• Correlating sparse sensing for large-scale traffic speed estimation: A Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
  本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。 次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-10-21T07:25:57Z)
• Time-lapse image classification using a diffractive neural network [0.0]
  回折ネットワークを用いたタイムラプス画像分類方式を初めて示す。 CIFAR-10データセットからの物体の光学的分類におけるブラインドテスト精度は62.03%である。 これは、これまで1つの回折ネットワークを用いて達成された最も高い推測精度を構成する。
  論文  参考訳（メタデータ） (2022-08-23T08:16:30Z)
• Motion-aware Memory Network for Fast Video Salient Object Detection [15.967509480432266]
  我々は、隣接するフレームから現在のフレームの有用な時間情報をVSODの時間枝として抽出する時空間メモリ(STM)ベースのネットワークを設計する。 符号化段階では、電流とその隣接するフレームから高次特徴を用いて高次時間特徴を生成する。 復号化段階では,空間的および時間的分岐に対する効果的な融合戦略を提案する。 提案モデルでは,光学フローなどの前処理を必要とせず,推定時に100FPS近い速度に達することができる。
  論文  参考訳（メタデータ） (2022-08-01T15:56:19Z)
• Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block [4.081968050250324]
  スパイキングニューラルネットワーク(SNN)は、神経時間情報能力、低処理機能、高い生物学的妥当性を有する。 Neuro-MNIST、CIFAR10-S、DVS128ジェスチャデータセットは、個々のイベントをフレームに集約し、イベントストリーム分類の時間分解能を高める必要がある。 本研究では,NIST電流の時間ステップに個々のイベントを集約し,トレーニングや推論の遅延を低減する処理時間圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T15:14:13Z)
• Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
  本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。 粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-05-08T03:50:45Z)
• Reinforcement Learning with Latent Flow [78.74671595139613]
  Flow of Latents for Reinforcement Learning (Flare)はRLのためのネットワークアーキテクチャであり、潜時ベクトル差分を通じて時間情報を明示的に符号化する。 本研究では,Frareが状態速度に明示的にアクセスすることなく,状態ベースRLの最適性能を回復することを示す。 我々はまた、FlareがDeepMindコントロールベンチマークスイート内のピクセルベースの挑戦的な連続制御タスクで最先端のパフォーマンスを達成することも示しています。
  論文  参考訳（メタデータ） (2021-01-06T03:50:50Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)
• PAN: Towards Fast Action Recognition via Learning Persistence of Appearance [60.75488333935592]
  最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。 本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。 我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。 光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
  論文  参考訳（メタデータ） (2020-08-08T07:09:54Z)
• A Neuromorphic Proto-Object Based Dynamic Visual Saliency Model with an FPGA Implementation [1.2387676601792899]
  本稿では, プロトオブジェクトの概念に基づくニューロモルフィック, ボトムアップ, ダイナミックビジュアル・サリエンシ・モデルを提案する。 このモデルは、一般的に使用されるビデオデータセット上で人間の目の固定を予測する際に、最先端のダイナミック・ビジュアル・サリエンシ・モデルより優れている。 我々は、Opal Kelly 7350 Kintex-7ボード上で、フィールドプログラマブルゲートアレイによるモデルの実装を紹介する。
  論文  参考訳（メタデータ） (2020-02-27T03:31:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。