論文の概要: Neuromorphic spatiotemporal optical flow: Enabling ultrafast visual perception beyond human capabilities

• arxiv url: http://arxiv.org/abs/2409.15345v2
• Date: Thu, 30 Jan 2025 12:20:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:11:40.744402
• Title: Neuromorphic spatiotemporal optical flow: Enabling ultrafast visual perception beyond human capabilities
• Title（参考訳）: ニューロモルフィック時空間光流 : 人間の能力を超えた超高速視知覚の実現
• Authors: Shengbo Wang, Jingwen Zhao, Tongming Pu, Liangbing Zhao, Xiaoyu Guo, Yue Cheng, Cong Li, Weihao Ma, Chenyu Tang, Zhenyu Xu, Ningli Wang, Luigi Occhipinti, Arokia Nathan, Ravinder Dahiya, Huaqiang Wu, Li Tao, Shuo Gao,
• Abstract要約: シナプストランジスタアレイに時間情報を直接符号化することで遅延ボトルネックに対処するニューロモルフィック光フロー手法を提案する。 従来の空間限定光流法と比較して,動作情報の時空間整合性を提供する。 ソフトウェアベンチマークでは、我々のシステムは400%のスピードアップで最先端のアルゴリズムより優れています。
• 参考スコア（独自算出の注目度）: 12.409087198219693
• License:
• Abstract: Optical flow, inspired by the mechanisms of biological visual systems, calculates spatial motion vectors within visual scenes that are necessary for enabling robotics to excel in complex and dynamic working environments. However, current optical flow algorithms, despite human-competitive task performance on benchmark datasets, remain constrained by unacceptable time delays (~0.6 seconds per inference, 4X human processing speed) in practical deployment. Here, we introduce a neuromorphic optical flow approach that addresses delay bottlenecks by encoding temporal information directly in a synaptic transistor array to assist spatial motion analysis. Compared to conventional spatial-only optical flow methods, our spatiotemporal neuromorphic optical flow offers the spatial-temporal consistency of motion information, rapidly identifying regions of interest in as little as 1-2 ms using the temporal motion cues derived from the embedded temporal information in the two-dimensional floating gate synaptic transistors. Thus, the visual input can be selectively filtered to achieve faster velocity calculations and various task execution. At the hardware level, due to the atomically sharp interfaces between distinct functional layers in two-dimensional van der Waals heterostructures, the synaptic transistor offers high-frequency response (~100 {\mu}s), robust non-volatility (>10000 s), and excellent endurance (>8000 cycles), enabling robust visual processing. In software benchmarks, our system outperforms state-of-the-art algorithms with a 400% speedup, frequently surpassing human-level performance while maintaining or enhancing accuracy by utilizing the temporal priors provided by the embedded temporal information.
• Abstract（参考訳）: 生物学的視覚システムのメカニズムにインスパイアされた光の流れは、ロボット工学が複雑でダイナミックな作業環境での運動を可能にするために必要な視覚シーン内の空間運動ベクトルを計算する。 しかしながら、現在の光学フローアルゴリズムは、ベンチマークデータセット上でのヒューマンコンペティティブなタスク性能にもかかわらず、実用的な展開において許容できない時間遅延(推論あたり約0.6秒、人間の処理速度4倍)に制約されている。 本稿では,時間的情報をシナプストランジスタアレイに直接符号化することで遅延ボトルネックに対処し,空間運動解析を支援するニューロモルフィック光フロー手法を提案する。 従来の空間のみの光フロー法と比較して,我々の時空間ニューロモルフィック光フローは,2次元フローティングゲートシナプストランジスタの埋め込み時空間情報から得られた時間的動きキューを用いて,わずか1-2msの関心領域を迅速に同定し,運動情報の時空間整合性を提供する。 これにより、視覚入力を選択的にフィルタリングして高速な速度計算と様々なタスク実行を実現することができる。 ハードウェアレベルでは、2次元ファンデルワールスヘテロ構造における異なる機能層間の原子的に鋭い界面のため、シナプストランジスタは高周波応答(~100 {\mu}s)、頑丈な非揮発性(〜10000 s)、耐久性(〜8000 サイクル)を提供し、堅牢なビジュアル処理を実現する。 ソフトウェアベンチマークでは, 組込み時間情報による時間的事前情報を利用して, 精度を維持し, 精度を向上しながら, 400%のスピードアップで最先端のアルゴリズムの性能を向上する。

関連論文リスト

• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Neuromorphic Optical Flow and Real-time Implementation with Event Cameras [47.11134388304464]
  イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。 我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。 約2桁の複雑さで高速な光流予測を行う。
  論文  参考訳（メタデータ） (2023-04-14T14:03:35Z)
• GotFlow3D: Recurrent Graph Optimal Transport for Learning 3D Flow Motion in Particle Tracking [11.579751282152841]
  粒子追跡速度計(PTV)のような流れの可視化技術は、自然と産業のプロセスから発生する3次元乱流の全広さを理解するために広く用いられている。 3D取得技術の進歩にもかかわらず、粒子追跡における動き推定アルゴリズムは、大きな粒子変位、高密度粒子分布、高い計算コストにおいて大きな課題である。 グラフ最適輸送に基づく新しいディープニューラルネットワークを導入することにより、両フレーム粒子集合から3次元流体の流れを学習するためのエンドツーエンドのソリューションを提案する。
  論文  参考訳（メタデータ） (2022-10-31T02:05:58Z)
• Motion-inductive Self-supervised Object Discovery in Videos [99.35664705038728]
  本稿では,連続的なRGBフレームの処理モデルを提案し,層状表現を用いて任意のフレーム間の光の流れを推定する。 3つの公開ビデオセグメンテーションデータセットにおいて,従来の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-01T08:38:28Z)
• Motion-aware Memory Network for Fast Video Salient Object Detection [15.967509480432266]
  我々は、隣接するフレームから現在のフレームの有用な時間情報をVSODの時間枝として抽出する時空間メモリ(STM)ベースのネットワークを設計する。 符号化段階では、電流とその隣接するフレームから高次特徴を用いて高次時間特徴を生成する。 復号化段階では,空間的および時間的分岐に対する効果的な融合戦略を提案する。 提案モデルでは,光学フローなどの前処理を必要とせず,推定時に100FPS近い速度に達することができる。
  論文  参考訳（メタデータ） (2022-08-01T15:56:19Z)
• EM-driven unsupervised learning for efficient motion segmentation [3.5232234532568376]
  本稿では,光学的流れからの動作分割のためのCNNに基づく完全教師なし手法を提案する。 本研究では,移動分割ニューラルネットワークの損失関数とトレーニング手順を活用するために,期待最大化(EM)フレームワークを利用する。 提案手法は, 教師なし手法よりも優れ, 効率的である。
  論文  参考訳（メタデータ） (2022-01-06T14:35:45Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• Residual Frames with Efficient Pseudo-3D CNN for Human Action Recognition [10.185425416255294]
  そこで我々は,残余フレームを代替の「軽量」運動表現として用いることを提案する。 また、3D畳み込みを2Dと1D畳み込みに分離する新しい擬似3D畳み込みモジュールを開発した。
  論文  参考訳（メタデータ） (2020-08-03T17:40:17Z)
• End-to-end Learning for Inter-Vehicle Distance and Relative Velocity Estimation in ADAS with a Monocular Camera [81.66569124029313]
  本稿では,ディープニューラルネットワークのエンドツーエンドトレーニングに基づくカメラによる車間距離と相対速度推定手法を提案する。 提案手法の重要な特徴は,2つの時間的単眼フレームによって提供される複数の視覚的手がかりの統合である。 また,移動場における視線歪みの影響を緩和する車両中心サンプリング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-07T08:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。