論文の概要: Ultrafast vision perception by neuromorphic optical flow

• arxiv url: http://arxiv.org/abs/2409.15345v1
• Date: Tue, 10 Sep 2024 10:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 19:54:40.779120
• Title: Ultrafast vision perception by neuromorphic optical flow
• Title（参考訳）: ニューロモルフィック光流による超高速視知覚
• Authors: Shengbo Wang, Shuo Gao, Tongming Pu, Liangbing Zhao, Arokia Nathan,
• Abstract要約: 3次元ニューロモルフィック光フロー法は,外的運動特徴を直接ハードウェアに埋め込む。 実演では,視覚的なデータ処理時間を平均0.3秒短縮する。 ニューロモルフィック光フローアルゴリズムの柔軟性は、既存のアルゴリズムとのシームレスな統合を可能にする。
• 参考スコア（独自算出の注目度）: 1.1980928503177917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optical flow is crucial for robotic visual perception, yet current methods primarily operate in a 2D format, capturing movement velocities only in horizontal and vertical dimensions. This limitation results in incomplete motion cues, such as missing regions of interest or detailed motion analysis of different regions, leading to delays in processing high-volume visual data in real-world settings. Here, we report a 3D neuromorphic optical flow method that leverages the time-domain processing capability of memristors to embed external motion features directly into hardware, thereby completing motion cues and dramatically accelerating the computation of movement velocities and subsequent task-specific algorithms. In our demonstration, this approach reduces visual data processing time by an average of 0.3 seconds while maintaining or improving the accuracy of motion prediction, object tracking, and object segmentation. Interframe visual processing is achieved for the first time in UAV scenarios. Furthermore, the neuromorphic optical flow algorithm's flexibility allows seamless integration with existing algorithms, ensuring broad applicability. These advancements open unprecedented avenues for robotic perception, without the trade-off between accuracy and efficiency.
• Abstract（参考訳）: 光の流れはロボットの視覚知覚にとって重要であるが、現在の手法は主に2次元のフォーマットで動作し、水平と垂直の次元でのみ移動速度を捉えている。 この制限は、関心の欠如や異なる領域の詳細な動き分析のような不完全な動きの手がかりとなり、現実世界の設定で高ボリュームの視覚データを処理するのに遅延を引き起こす。 本稿では,メムリスタの時間領域処理機能を活用して外部動作特徴を直接ハードウェアに埋め込む3次元ニューロモルフィック光フロー法について報告する。 本実験では, 動作予測, 物体追跡, 物体セグメンテーションの精度を維持・改善しながら, 平均0.3秒で視覚データ処理時間を短縮する。 フレーム間視覚処理は、UAVシナリオで初めて達成される。 さらに、ニューロモルフィック光フローアルゴリズムの柔軟性は、既存のアルゴリズムとのシームレスな統合を可能にし、幅広い適用性を保証する。 これらの進歩は、正確性と効率のトレードオフなしに、ロボット知覚のための前例のない道を開いた。

関連論文リスト

• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Neuromorphic Optical Flow and Real-time Implementation with Event Cameras [47.11134388304464]
  イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。 我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。 約2桁の複雑さで高速な光流予測を行う。
  論文  参考訳（メタデータ） (2023-04-14T14:03:35Z)
• GotFlow3D: Recurrent Graph Optimal Transport for Learning 3D Flow Motion in Particle Tracking [11.579751282152841]
  粒子追跡速度計(PTV)のような流れの可視化技術は、自然と産業のプロセスから発生する3次元乱流の全広さを理解するために広く用いられている。 3D取得技術の進歩にもかかわらず、粒子追跡における動き推定アルゴリズムは、大きな粒子変位、高密度粒子分布、高い計算コストにおいて大きな課題である。 グラフ最適輸送に基づく新しいディープニューラルネットワークを導入することにより、両フレーム粒子集合から3次元流体の流れを学習するためのエンドツーエンドのソリューションを提案する。
  論文  参考訳（メタデータ） (2022-10-31T02:05:58Z)
• Motion-inductive Self-supervised Object Discovery in Videos [99.35664705038728]
  本稿では,連続的なRGBフレームの処理モデルを提案し,層状表現を用いて任意のフレーム間の光の流れを推定する。 3つの公開ビデオセグメンテーションデータセットにおいて,従来の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-01T08:38:28Z)
• Motion-aware Memory Network for Fast Video Salient Object Detection [15.967509480432266]
  我々は、隣接するフレームから現在のフレームの有用な時間情報をVSODの時間枝として抽出する時空間メモリ(STM)ベースのネットワークを設計する。 符号化段階では、電流とその隣接するフレームから高次特徴を用いて高次時間特徴を生成する。 復号化段階では,空間的および時間的分岐に対する効果的な融合戦略を提案する。 提案モデルでは,光学フローなどの前処理を必要とせず,推定時に100FPS近い速度に達することができる。
  論文  参考訳（メタデータ） (2022-08-01T15:56:19Z)
• EM-driven unsupervised learning for efficient motion segmentation [3.5232234532568376]
  本稿では,光学的流れからの動作分割のためのCNNに基づく完全教師なし手法を提案する。 本研究では,移動分割ニューラルネットワークの損失関数とトレーニング手順を活用するために,期待最大化(EM)フレームワークを利用する。 提案手法は, 教師なし手法よりも優れ, 効率的である。
  論文  参考訳（メタデータ） (2022-01-06T14:35:45Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)
• Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
  本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。 本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-11T04:20:30Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• Residual Frames with Efficient Pseudo-3D CNN for Human Action Recognition [10.185425416255294]
  そこで我々は,残余フレームを代替の「軽量」運動表現として用いることを提案する。 また、3D畳み込みを2Dと1D畳み込みに分離する新しい擬似3D畳み込みモジュールを開発した。
  論文  参考訳（メタデータ） (2020-08-03T17:40:17Z)
• End-to-end Learning for Inter-Vehicle Distance and Relative Velocity Estimation in ADAS with a Monocular Camera [81.66569124029313]
  本稿では,ディープニューラルネットワークのエンドツーエンドトレーニングに基づくカメラによる車間距離と相対速度推定手法を提案する。 提案手法の重要な特徴は,2つの時間的単眼フレームによって提供される複数の視覚的手がかりの統合である。 また,移動場における視線歪みの影響を緩和する車両中心サンプリング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-07T08:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。