論文の概要: Optical flow estimation from event-based cameras and spiking neural
networks
- arxiv url: http://arxiv.org/abs/2302.06492v2
- Date: Wed, 17 May 2023 13:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 20:08:13.375248
- Title: Optical flow estimation from event-based cameras and spiking neural
networks
- Title（参考訳）: イベントベースカメラとスパイクニューラルネットワークによる光フロー推定
- Authors: Javier Cuadrado, Ulysse Ran\c{c}on, Beno\^it Cottereau, Francisco
Barranco and Timoth\'ee Masquelier
- Abstract要約: イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である
教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。
分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
- 参考スコア（独自算出の注目度）: 0.4899818550820575
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event-based cameras are raising interest within the computer vision
community. These sensors operate with asynchronous pixels, emitting events, or
"spikes", when the luminance change at a given pixel since the last event
surpasses a certain threshold. Thanks to their inherent qualities, such as
their low power consumption, low latency and high dynamic range, they seem
particularly tailored to applications with challenging temporal constraints and
safety requirements. Event-based sensors are an excellent fit for Spiking
Neural Networks (SNNs), since the coupling of an asynchronous sensor with
neuromorphic hardware can yield real-time systems with minimal power
requirements. In this work, we seek to develop one such system, using both
event sensor data from the DSEC dataset and spiking neural networks to estimate
optical flow for driving scenarios. We propose a U-Net-like SNN which, after
supervised training, is able to make dense optical flow estimations. To do so,
we encourage both minimal norm for the error vector and minimal angle between
ground-truth and predicted flow, training our model with back-propagation using
a surrogate gradient. In addition, the use of 3d convolutions allows us to
capture the dynamic nature of the data by increasing the temporal receptive
fields. Upsampling after each decoding stage ensures that each decoder's output
contributes to the final estimation. Thanks to separable convolutions, we have
been able to develop a light model (when compared to competitors) that can
nonetheless yield reasonably accurate optical flow estimates.
- Abstract（参考訳）: イベントベースのカメラはコンピュータビジョンコミュニティ内で関心を集めている。
これらのセンサーは、前回のイベントからあるピクセルの輝度が一定の閾値を超えると、非同期ピクセル、イベントの出力、あるいは「スパイク」で動作する。
低消費電力、低レイテンシ、高ダイナミックレンジなど、それら固有の特性のおかげで、特に時間的制約や安全性要件の厳しいアプリケーションに適しているように思える。
非同期センサとニューロモルフィックハードウェアの結合により、最小限の電力要求でリアルタイムシステムが得られるため、イベントベースのセンサはスパイキングニューラルネットワーク(SNN)に適している。
本研究では,dsecデータセットからのイベントセンサデータとスパイクニューラルネットワークを用いて,運転シナリオの光学フローを推定するシステムを開発した。
教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。
そこで我々は,地絡と予測フローの間の誤差ベクトルの最小基準と最小角度の両方を奨励し,代用勾配を用いた後方伝播によるモデルの訓練を行う。
さらに, 3次元畳み込みを用いることで, 時間受容場を増大させることで, データの動的性質を捉えることができる。
各デコードステージの後のアップサンプリングは、各デコーダの出力が最終的な推定に寄与することを保証する。
分離可能な畳み込みのおかげで、私たちは(競合と比べて)かなり正確な光学フロー推定ができる軽量モデルの開発に成功しました。
関連論文リスト
- SDformerFlow: Spatiotemporal swin spikeformer for event-based optical flow estimation [10.696635172502141]
イベントカメラは、光強度の変化をキャプチャする非同期でスパースなイベントストリームを生成する。
スパイキングニューラルネットワーク(SNN)も同様の非同期特性とスパース特性を共有しており、イベントカメラに適している。
本稿では,STTFlowNetとSDFlowformerという,高速かつ堅牢なイベントカメラ用光フロー推定手法を提案する。
論文 参考訳（メタデータ） (2024-09-06T07:48:18Z) - A Novel Spike Transformer Network for Depth Estimation from Event Cameras via Cross-modality Knowledge Distillation [3.355813093377501]
イベントカメラは従来のデジタルカメラとは異なる動作をし、データを継続的にキャプチャし、時間、位置、光強度を符号化するバイナリスパイクを生成する。
これは、イベントカメラに適した革新的でスパイク対応のアルゴリズムの開発を必要とする。
スパイクカメラデータから深度推定を行うために,純粋にスパイク駆動のスパイク変圧器ネットワークを提案する。
論文 参考訳（メタデータ） (2024-04-26T11:32:53Z) - Low-power event-based face detection with asynchronous neuromorphic
hardware [2.0774873363739985]
本稿では、SynSense Speckニューロモルフィックチップ上に展開されたイベントベースの顔検出のためのオンチップスパイクニューラルネットワークの最初の例を示す。
トレーニングに用いるオフチップクロック駆動シミュレーションとオンチップイベント駆動推論との精度の相違について述べる。
オンチップ顔検出のmAP[0.5]は0.6で、20mWしか消費しない。
論文 参考訳（メタデータ） (2023-12-21T19:23:02Z) - Event-based Temporally Dense Optical Flow Estimation with Sequential
Learning [11.026299772309796]
イベントカメラは、動きのぼやけなく素早く動く物体を捉えます。
本稿では,100Hzの時間密流推定を問題として扱うことにより,時間密流推定が可能であることを示す。
論文 参考訳（メタデータ） (2022-10-03T21:50:14Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳（メタデータ） (2022-09-29T04:06:00Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。
光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。
本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
論文 参考訳（メタデータ） (2021-10-08T06:16:45Z) - Fusion-FlowNet: Energy-Efficient Optical Flow Estimation using Sensor
Fusion and Deep Fused Spiking-Analog Network Architectures [7.565038387344594]
本稿では,フレームベースとイベントベースの両方のセンサを用いたエネルギー効率の高い光フロー推定のためのセンサ融合フレームワークを提案する。
我々のネットワークは、高価なビデオアノテーションを避けるために教師なし学習を用いてエンドツーエンドで訓練されている。
論文 参考訳（メタデータ） (2021-03-19T02:03:33Z) - Combining Events and Frames using Recurrent Asynchronous Multimodal
Networks for Monocular Depth Prediction [51.072733683919246]
複数のセンサからの非同期および不規則なデータを処理するために、リカレント非同期マルチモーダル(RAM)ネットワークを導入する。
従来のRNNにインスパイアされたRAMネットワークは、非同期に更新され、予測を生成するためにいつでもクエリできる隠れ状態を維持している。
平均深度絶対誤差において,最先端手法を最大30%改善することを示す。
論文 参考訳（メタデータ） (2021-02-18T13:24:35Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳（メタデータ） (2020-03-20T08:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。