論文の概要: Neuromorphic Optical Flow and Real-time Implementation with Event Cameras

• arxiv url: http://arxiv.org/abs/2304.07139v2
• Date: Wed, 12 Jul 2023 13:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 16:45:58.743631
• Title: Neuromorphic Optical Flow and Real-time Implementation with Event Cameras
• Title（参考訳）: イベントカメラによるニューロモルフィック光流れとリアルタイム実装
• Authors: Yannick Schnider, Stanislaw Wozniak, Mathias Gehrig, Jules Lecomte, Axel von Arnim, Luca Benini, Davide Scaramuzza, Angeliki Pantazi
• Abstract要約: イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。 我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。 約2桁の複雑さで高速な光流予測を行う。
• 参考スコア（独自算出の注目度）: 47.11134388304464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical flow provides information on relative motion that is an important component in many computer vision pipelines. Neural networks provide high accuracy optical flow, yet their complexity is often prohibitive for application at the edge or in robots, where efficiency and latency play crucial role. To address this challenge, we build on the latest developments in event-based vision and spiking neural networks. We propose a new network architecture, inspired by Timelens, that improves the state-of-the-art self-supervised optical flow accuracy when operated both in spiking and non-spiking mode. To implement a real-time pipeline with a physical event camera, we propose a methodology for principled model simplification based on activity and latency analysis. We demonstrate high speed optical flow prediction with almost two orders of magnitude reduced complexity while maintaining the accuracy, opening the path for real-time deployments.
• Abstract（参考訳）: 光フローは、多くのコンピュータビジョンパイプラインの重要な要素である相対運動に関する情報を提供する。 ニューラルネットワークは高精度な光フローを提供するが、効率とレイテンシが重要な役割を果たすエッジやロボットでは、その複雑さがしばしば禁止される。 この課題に対処するため、イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。 timelensにインスパイアされた新しいネットワークアーキテクチャを提案する。スパイクモードと非スパイクモードの両方で動作する場合、最先端の自己教師付き光フロー精度を向上させる。 物理イベントカメラを用いたリアルタイムパイプラインの実現を目的として,アクティビティと遅延解析に基づくモデル単純化手法を提案する。 精度を維持しつつ複雑性を約2桁低減した高速光フロー予測を行い,リアルタイム展開への道を開く。

関連論文リスト

• SDformerFlow: Spatiotemporal swin spikeformer for event-based optical flow estimation [10.696635172502141]
  イベントカメラは、光強度の変化をキャプチャする非同期でスパースなイベントストリームを生成する。 スパイキングニューラルネットワーク(SNN)も同様の非同期特性とスパース特性を共有しており、イベントカメラに適している。 本稿では,STTFlowNetとSDFlowformerという,高速かつ堅牢なイベントカメラ用光フロー推定手法を提案する。
  論文  参考訳（メタデータ） (2024-09-06T07:48:18Z)
• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• PNAS-MOT: Multi-Modal Object Tracking with Pareto Neural Architecture Search [64.28335667655129]
  複数の物体追跡は、自律運転において重要な課題である。 トラッキングの精度が向上するにつれて、ニューラルネットワークはますます複雑になり、レイテンシが高いため、実際の運転シナリオにおける実践的な応用に課題が生じる。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法を用いて追跡のための効率的なアーキテクチャを探索し,比較的高い精度を維持しつつ,低リアルタイム遅延を実現することを目的とした。
  論文  参考訳（メタデータ） (2024-03-23T04:18:49Z)
• Lightweight Delivery Detection on Doorbell Cameras [9.735137325682825]
  本研究では,重要なホームアプリケーション,ビデオベースの配信検出について検討し,簡単な軽量パイプラインを提案する。 提案手法は,移動自在な3DCNNネットワークを用いて,一連の粗い活動キューを生成するために拘束された動きに依存している。
  論文  参考訳（メタデータ） (2023-05-13T01:28:28Z)
• Optical flow estimation from event-based cameras and spiking neural networks [0.4899818550820575]
  イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である 教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。 分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
  論文  参考訳（メタデータ） (2023-02-13T16:17:54Z)
• Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation [47.984368369734995]
  本稿では,イベントベース光フロー推定のためのニューラルネットアーキテクチャを提案する。 このネットワークは、Multi-Vehicle Stereo Event Cameraデータセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。 既存の最先端の手法を大きなマージンで上回る結果が得られた。
  論文  参考訳（メタデータ） (2021-09-10T13:37:37Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy [0.0]
  イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。 本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。 複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
  論文  参考訳（メタデータ） (2020-09-17T13:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。