論文の概要: Scalable Event-by-event Processing of Neuromorphic Sensory Signals With Deep State-Space Models
- arxiv url: http://arxiv.org/abs/2404.18508v3
- Date: Wed, 09 Oct 2024 06:57:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:30:44.375934
- Title: Scalable Event-by-event Processing of Neuromorphic Sensory Signals With Deep State-Space Models
- Title（参考訳）: 深部状態空間モデルを用いたニューロモルフィック感覚信号のイベント・バイ・イベント処理
- Authors: Mark Schöne, Neeraj Mohan Sushma, Jingyue Zhuge, Christian Mayr, Anand Subramoney, David Kappel,
- Abstract要約: イベントベースのセンサーはリアルタイム処理に適している。
現在の方法では、イベントをフレームに分解するか、イベントデータをイベント単位で直接処理する場合にスケールアップできない。
- 参考スコア（独自算出の注目度）: 2.551844666707809
- License:
- Abstract: Event-based sensors are well suited for real-time processing due to their fast response times and encoding of the sensory data as successive temporal differences. These and other valuable properties, such as a high dynamic range, are suppressed when the data is converted to a frame-based format. However, most current methods either collapse events into frames or cannot scale up when processing the event data directly event-by-event. In this work, we address the key challenges of scaling up event-by-event modeling of the long event streams emitted by such sensors, which is a particularly relevant problem for neuromorphic computing. While prior methods can process up to a few thousand time steps, our model, based on modern recurrent deep state-space models, scales to event streams of millions of events for both training and inference. We leverage their stable parameterization for learning long-range dependencies, parallelizability along the sequence dimension, and their ability to integrate asynchronous events effectively to scale them up to long event streams. We further augment these with novel event-centric techniques enabling our model to match or beat the state-of-the-art performance on several event stream benchmarks. In the Spiking Speech Commands task, we improve state-of-the-art by a large margin of 7.7% to 88.4%. On the DVS128-Gestures dataset, we achieve competitive results without using frames or convolutional neural networks. Our work demonstrates, for the first time, that it is possible to use fully event-based processing with purely recurrent networks to achieve state-of-the-art task performance in several event-based benchmarks.
- Abstract（参考訳）: イベントベースのセンサは、応答時間の速さと感覚データの符号化が連続した時間差として、リアルタイム処理に適している。
フレームベースのフォーマットに変換されると、高ダイナミックレンジなどのこれらおよびその他の重要な特性が抑制される。
しかし、現在のほとんどのメソッドはイベントをフレームに分解するか、イベントデータをイベント単位で直接処理する際にスケールアップできない。
本研究では,このようなセンサが出力するイベントストリームのイベント・バイ・イベント・モデリングをスケールアップする上で重要な課題に対処する。
従来の手法では最大で数千のタイムステップを処理可能ですが、現在の状態空間モデルに基づく私たちのモデルは、トレーニングと推論の両方のために数百万のイベントストリームにスケールします。
我々は、その安定したパラメータ化を利用して、長距離依存関係、シーケンス次元に沿った並列化可能性、非同期イベントを効果的に統合して、長いイベントストリームにスケールアップする能力を活用します。
さらに、いくつかのイベントストリームベンチマークで、私たちのモデルが最先端のパフォーマンスにマッチまたは打ち勝つことができるような、新しいイベント中心のテクニックで、これらをさらに強化します。
スパイキング音声コマンドタスクでは、最先端の技術を7.7%から88.4%に改善する。
DVS128-Gesturesデータセットでは,フレームや畳み込みニューラルネットワークを使わずに,競合的な結果が得られる。
我々の研究は、完全イベントベースの処理と純粋にリカレントなネットワークを併用して、いくつかのイベントベースのベンチマークで最先端のタスクパフォーマンスを実現することができることを初めて実証した。
関連論文リスト
- EventFlow: Forecasting Continuous-Time Event Data with Flow Matching [12.976042923229466]
本研究では,時間的ポイントプロセスのための非自己回帰生成モデルであるEventFlowを提案する。
我々のモデルはフローマッチングフレームワークの上に構築され、イベント時間を通じて関節分布を直接学習し、自己回帰プロセスをサイドステッピングします。
論文 参考訳（メタデータ） (2024-10-09T20:57:00Z) - Fast Window-Based Event Denoising with Spatiotemporal Correlation
Enhancement [85.66867277156089]
同時にイベントのスタックを扱うウィンドウベースのイベントデノゲーションを提案する。
空間領域では、実世界の事象と雑音を識別するために、最大後部(MAP)を選択する。
我々のアルゴリズムは、イベントノイズを効果的かつ効率的に除去し、下流タスクの性能を向上させることができる。
論文 参考訳（メタデータ） (2024-02-14T15:56:42Z) - XTSFormer: Cross-Temporal-Scale Transformer for Irregular Time Event
Prediction [9.240950990926796]
イベント予測は、過去のイベントシーケンスに基づいて、将来のイベントの時間とタイプを予測することを目的としている。
その重要性にもかかわらず、連続するイベント間の時間間隔の不規則性、サイクルの存在、周期性、マルチスケールのイベント相互作用など、いくつかの課題が存在する。
論文 参考訳（メタデータ） (2024-02-03T20:33:39Z) - Representation Learning on Event Stream via an Elastic Net-incorporated
Tensor Network [1.9515859963221267]
本稿では,イベントストリーム中のすべてのイベントのグローバルな相関を同時に取得できる新しい表現法を提案する。
本手法は, 最先端手法と比較して, フィルタノイズなどの応用において有効な結果が得られる。
論文 参考訳（メタデータ） (2024-01-16T02:51:47Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳（メタデータ） (2023-10-03T21:08:41Z) - Continuous-time convolutions model of event sequences [46.3471121117337]
イベントシーケンスは不均一でスパースであり、従来のモデルは不適当である。
我々は、時間とともに一様でない事象の発生を処理するために設計された効率的な畳み込みニューラルネットワークに基づくCOTICを提案する。
COTICは、次のイベント時間とタイプを予測する際に既存のモデルよりも優れており、最も近いライバルの3.714と比較して平均1.5のランクに達している。
論文 参考訳（メタデータ） (2023-02-13T10:34:51Z) - EventMix: An Efficient Augmentation Strategy for Event-Based Data [4.8416725611508244]
イベントカメラは、高ダイナミックレンジと低エネルギーのイベントストリームデータを提供することができる。
スケールは従来のフレームベースのデータよりも小さく、入手が難しい。
本稿では,イベントストリームデータに対する効率的なデータ拡張戦略であるEventMixを提案する。
論文 参考訳（メタデータ） (2022-05-24T13:07:33Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳（メタデータ） (2022-03-31T16:21:12Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳（メタデータ） (2022-03-02T11:28:47Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳（メタデータ） (2020-03-20T08:39:49Z) - A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。
基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
論文 参考訳（メタデータ） (2020-02-21T23:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。