論文の概要: Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient
Hybrid Neural Networks
- arxiv url: http://arxiv.org/abs/2003.06696v3
- Date: Mon, 14 Sep 2020 18:34:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-23 20:03:18.410839
- Title: Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient
Hybrid Neural Networks
- Title（参考訳）: Spike-FlowNet:エネルギー効率の良いハイブリッドニューラルネットワークを用いたイベントベース光フロー推定
- Authors: Chankyu Lee, Adarsh Kumar Kosta, Alex Zihao Zhu, Kenneth Chaney,
Kostas Daniilidis, and Kaushik Roy
- Abstract要約: 本稿では,SNNとANNを統合したディープハイブリッドニューラルネットワークアーキテクチャであるSpike-FlowNetを提案する。
このネットワークは、MVSEC(Multi-Vehicle Stereo Event Camera)データセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。
- 参考スコア（独自算出の注目度）: 40.44712305614071
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event-based cameras display great potential for a variety of tasks such as
high-speed motion detection and navigation in low-light environments where
conventional frame-based cameras suffer critically. This is attributed to their
high temporal resolution, high dynamic range, and low-power consumption.
However, conventional computer vision methods as well as deep Analog Neural
Networks (ANNs) are not suited to work well with the asynchronous and discrete
nature of event camera outputs. Spiking Neural Networks (SNNs) serve as ideal
paradigms to handle event camera outputs, but deep SNNs suffer in terms of
performance due to the spike vanishing phenomenon. To overcome these issues, we
present Spike-FlowNet, a deep hybrid neural network architecture integrating
SNNs and ANNs for efficiently estimating optical flow from sparse event camera
outputs without sacrificing the performance. The network is end-to-end trained
with self-supervised learning on Multi-Vehicle Stereo Event Camera (MVSEC)
dataset. Spike-FlowNet outperforms its corresponding ANN-based method in terms
of the optical flow prediction capability while providing significant
computational efficiency.
- Abstract（参考訳）: イベントベースのカメラは、従来のフレームベースのカメラがクリティカルな低照度環境での高速モーション検出やナビゲーションなど、さまざまなタスクにおいて大きな可能性を秘めている。
これは高時間分解能、高ダイナミックレンジ、低消費電力による。
しかし、従来のコンピュータビジョン手法やディープアナログニューラルネットワーク(anns)は、イベントカメラ出力の非同期かつ離散的な性質には適していない。
スパイキングニューラルネットワーク(SNN)は、イベントカメラ出力を処理する理想的なパラダイムとして機能するが、スパイク消滅現象により、深いSNNはパフォーマンスに苦しむ。
これらの問題を解決するために、SNNとANNを統合したディープハイブリッドニューラルネットワークアーキテクチャであるSpike-FlowNetを紹介し、スパースイベントカメラ出力からの光フローを性能を犠牲にすることなく効率的に推定する。
ネットワークは、mvsec(multi-vehicle stereo event camera)データセットで自己教師付き学習によってエンドツーエンドでトレーニングされる。
spike-flownetは、光学フロー予測能力の点で、対応するanベースの方法よりも優れた計算効率を提供する。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - SDformerFlow: Spatiotemporal swin spikeformer for event-based optical flow estimation [10.696635172502141]
イベントカメラは、光強度の変化をキャプチャする非同期でスパースなイベントストリームを生成する。
スパイキングニューラルネットワーク(SNN)も同様の非同期特性とスパース特性を共有しており、イベントカメラに適している。
本稿では,STTFlowNetとSDFlowformerという,高速かつ堅牢なイベントカメラ用光フロー推定手法を提案する。
論文 参考訳（メタデータ） (2024-09-06T07:48:18Z) - A Novel Spike Transformer Network for Depth Estimation from Event Cameras via Cross-modality Knowledge Distillation [3.355813093377501]
イベントカメラは従来のデジタルカメラとは異なる動作をし、データを継続的にキャプチャし、時間、位置、光強度を符号化するバイナリスパイクを生成する。
これは、イベントカメラに適した革新的でスパイク対応のアルゴリズムの開発を必要とする。
スパイクカメラデータから深度推定を行うために,純粋にスパイク駆動のスパイク変圧器ネットワークを提案する。
論文 参考訳（メタデータ） (2024-04-26T11:32:53Z) - Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation [12.611797572621398]
非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、イベントストリームから機能を抽出する大きな可能性を秘めている。
本稿では,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-06-05T15:26:02Z) - Neuromorphic Optical Flow and Real-time Implementation with Event
Cameras [47.11134388304464]
イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。
我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。
約2桁の複雑さで高速な光流予測を行う。
論文 参考訳（メタデータ） (2023-04-14T14:03:35Z) - MSS-DepthNet: Depth Prediction with Multi-Step Spiking Neural Network [8.53512216864715]
スパイキングニューラルネットワークは、イベントカメラタスクの処理に適していると考えられる、新しいイベントベースの計算パラダイムである。
この研究は、新しい残差ブロックと多次元アテンションモジュールを組み合わせたスパイクニューラルネットワークアーキテクチャを提案する。
このモデルはMVSECデータセットで同じ大きさのANNネットワークより優れており、計算効率が高い。
論文 参考訳（メタデータ） (2022-11-22T10:35:36Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳（メタデータ） (2021-06-02T07:36:27Z) - Fusion-FlowNet: Energy-Efficient Optical Flow Estimation using Sensor
Fusion and Deep Fused Spiking-Analog Network Architectures [7.565038387344594]
本稿では,フレームベースとイベントベースの両方のセンサを用いたエネルギー効率の高い光フロー推定のためのセンサ融合フレームワークを提案する。
我々のネットワークは、高価なビデオアノテーションを避けるために教師なし学習を用いてエンドツーエンドで訓練されている。
論文 参考訳（メタデータ） (2021-03-19T02:03:33Z) - Event-Based Angular Velocity Regression with Spiking Networks [51.145071093099396]
スパイキングニューラルネットワーク(SNN)は、数値ではなく時間スパイクとして伝達される情報を処理する。
本稿では,イベントカメラから与えられた事象の時間回帰問題を初めて提案する。
角速度回帰を行うためにSNNをうまく訓練できることが示される。
論文 参考訳（メタデータ） (2020-03-05T17:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。