Fugu-MT 論文翻訳(概要): Event-based Temporally Dense Optical Flow Estimation with Sequential Neural Networks

論文の概要: Event-based Temporally Dense Optical Flow Estimation with Sequential Neural Networks

arxiv url: http://arxiv.org/abs/2210.01244v1
Date: Mon, 3 Oct 2022 21:50:14 GMT
ステータス: 処理完了
システム内更新日: 2022-10-05 15:09:02.498234
Title: Event-based Temporally Dense Optical Flow Estimation with Sequential Neural Networks
Title（参考訳）: 逐次ニューラルネットワークを用いたイベントベース時間密度光フロー推定
Authors: Wachirawit Ponghiran, Chamika Mihiranga Liyanagedera and Kaushik Roy
Abstract要約: 本稿では,イベントストリーム上での連続的な光フロー予測のためのトレーニング手法を提案する。スパイキングニューラルネットワーク(SNN)の固有再帰は、LSTMよりも31.8%少ないパラメータで、時間的に密度の高い光の流れを学習し、推定することができることを示す。
参考スコア（独自算出の注目度）: 5.340730281227837
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prior works on event-based optical flow estimation have investigated several gradient-based learning methods to train neural networks for predicting optical flow. However, they do not utilize the fast data rate of event data streams and rely on a spatio-temporal representation constructed from a collection of events over a fixed period of time (often between two grayscale frames). As a result, optical flow is only evaluated at a frequency much lower than the rate data is produced by an event-based camera, leading to a temporally sparse optical flow estimation. To predict temporally dense optical flow, we cast the problem as a sequential learning task and propose a training methodology to train sequential networks for continuous prediction on an event stream. We propose two types of networks: one focused on performance and another focused on compute efficiency. We first train long-short term memory networks (LSTMs) on the DSEC dataset and demonstrated 10x temporally dense optical flow estimation over existing flow estimation approaches. The additional benefit of having a memory to draw long temporal correlations back in time results in a 19.7% improvement in flow prediction accuracy of LSTMs over similar networks with no memory elements. We subsequently show that the inherent recurrence of spiking neural networks (SNNs) enables them to learn and estimate temporally dense optical flow with 31.8% lesser parameters than LSTM, but with a slightly increased error. This demonstrates potential for energy-efficient implementation of fast optical flow prediction using SNNs.
Abstract（参考訳）: 事象に基づく光フロー推定に関する先行研究は、光フローを予測するためにニューラルネットワークをトレーニングするための勾配に基づく学習手法を調査してきた。しかし、イベントデータストリームの高速データレートは利用せず、一定の時間(しばしば2つのグレースケールフレームの間)にわたってイベントの集合から構築された時空間表現に依存する。その結果、光学フローはイベントベースカメラが生成する速度データよりもはるかに低い周波数でのみ評価され、時間的にスパースな光学フロー推定となる。時間的に密集した光の流れを予測するために,問題を逐次学習課題とし,イベントストリーム上で連続的な予測を行うためのトレーニング手法を提案する。本稿では,性能を重視したネットワークと,計算効率を重視したネットワークを提案する。まず、DSECデータセット上で長期記憶ネットワーク(LSTM)をトレーニングし、既存のフロー推定手法よりも10倍の時間密度の光フロー推定を実証した。長い時間的相関を時間内に引き戻すメモリを持つ利点は、メモリ要素のない類似ネットワーク上でのLSTMのフロー予測精度を19.7%向上させる。その後、スパイキングニューラルネットワーク(SNN)の固有再帰により、LSTMよりも31.8%少ないパラメータで時間的に密度の高い光の流れを学習し、推定できるが、誤差はわずかに増大することを示した。これにより、SNNを用いた高速光流予測のエネルギー効率向上の可能性を示す。

関連論文リスト

Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
論文参考訳（メタデータ） (2024-10-28T15:54:50Z)
SDformerFlow: Spatiotemporal swin spikeformer for event-based optical flow estimation [10.696635172502141]
イベントカメラは、光強度の変化をキャプチャする非同期でスパースなイベントストリームを生成する。スパイキングニューラルネットワーク(SNN)も同様の非同期特性とスパース特性を共有しており、イベントカメラに適している。本稿では,STTFlowNetとSDFlowformerという,高速かつ堅牢なイベントカメラ用光フロー推定手法を提案する。
論文参考訳（メタデータ） (2024-09-06T07:48:18Z)
Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文参考訳（メタデータ） (2023-04-14T09:39:06Z)
Optical flow estimation from event-based cameras and spiking neural networks [0.4899818550820575]
イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
論文参考訳（メタデータ） (2023-02-13T16:17:54Z)
Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文参考訳（メタデータ） (2022-09-21T21:17:56Z)
AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文参考訳（メタデータ） (2022-03-31T16:21:12Z)
Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block [4.081968050250324]
スパイキングニューラルネットワーク(SNN)は、神経時間情報能力、低処理機能、高い生物学的妥当性を有する。 Neuro-MNIST、CIFAR10-S、DVS128ジェスチャデータセットは、個々のイベントをフレームに集約し、イベントストリーム分類の時間分解能を高める必要がある。本研究では,NIST電流の時間ステップに個々のイベントを集約し,トレーニングや推論の遅延を低減する処理時間圧縮手法を提案する。
論文参考訳（メタデータ） (2022-03-18T15:14:13Z)
FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文参考訳（メタデータ） (2021-03-08T03:09:37Z)
Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文参考訳（メタデータ） (2020-06-08T09:53:35Z)
Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks [40.44712305614071]
本稿では,SNNとANNを統合したディープハイブリッドニューラルネットワークアーキテクチャであるSpike-FlowNetを提案する。このネットワークは、MVSEC(Multi-Vehicle Stereo Event Camera)データセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。
論文参考訳（メタデータ） (2020-03-14T20:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。