Fugu-MT 論文翻訳(概要): State Space Models for Event Cameras

論文の概要: State Space Models for Event Cameras

arxiv url: http://arxiv.org/abs/2402.15584v3
Date: Thu, 18 Apr 2024 15:29:14 GMT
ステータス: 処理完了
システム内更新日: 2024-04-19 20:29:53.245419
Title: State Space Models for Event Cameras
Title（参考訳）: イベントカメラのための状態空間モデル
Authors: Nikola Zubić, Mathias Gehrig, Davide Scaramuzza,
Abstract要約: イベントベースビジョンに学習可能な時間スケールパラメータを備えた状態空間モデル(SSM)を導入する。以上の結果から,SSMモデルではトレーニングが33%高速化され,トレーニング入力よりも高い周波数でテストした場合の性能劣化が最小限に抑えられることがわかった。
参考スコア（独自算出の注目度）: 21.341070680647782
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Today, state-of-the-art deep neural networks that process event-camera data first convert a temporal window of events into dense, grid-like input representations. As such, they exhibit poor generalizability when deployed at higher inference frequencies (i.e., smaller temporal windows) than the ones they were trained on. We address this challenge by introducing state-space models (SSMs) with learnable timescale parameters to event-based vision. This design adapts to varying frequencies without the need to retrain the network at different frequencies. Additionally, we investigate two strategies to counteract aliasing effects when deploying the model at higher frequencies. We comprehensively evaluate our approach against existing methods based on RNN and Transformer architectures across various benchmarks, including Gen1 and 1 Mpx event camera datasets. Our results demonstrate that SSM-based models train 33% faster and also exhibit minimal performance degradation when tested at higher frequencies than the training input. Traditional RNN and Transformer models exhibit performance drops of more than 20 mAP, with SSMs having a drop of 3.76 mAP, highlighting the effectiveness of SSMs in event-based vision tasks.
Abstract（参考訳）: 今日、イベントカメラデータを処理する最先端のディープニューラルネットワークは、イベントの時間的ウィンドウを、グリッドのような密度の高い入力表現に変換する。そのため、トレーニングされたものよりも高い推論周波数(すなわち、より小さい時間窓)でデプロイされた場合の一般化性は低い。我々は、イベントベースのビジョンに学習可能な時間スケールパラメータを持つ状態空間モデル(SSM)を導入することで、この問題に対処する。この設計は、異なる周波数でネットワークを再トレーニングすることなく、様々な周波数に適応する。さらに, 高周波数でモデルを展開する場合, エイリアス効果に対処する2つの手法について検討する。我々は、RNNおよびTransformerアーキテクチャに基づく既存手法に対するアプローチを、Gen1および1 Mpxイベントカメラデータセットを含む様々なベンチマークで包括的に評価する。以上の結果から,SSMモデルではトレーニングが33%高速化され,トレーニング入力よりも高い周波数でテストした場合の性能劣化が最小限に抑えられることがわかった。従来のRNNとTransformerモデルは20mAP以上の性能低下を示し、SSMは3.76mAPの低下を示し、イベントベースの視覚タスクにおけるSSMの有効性を強調している。

関連論文リスト

Path-adaptive Spatio-Temporal State Space Model for Event-based Recognition with Arbitrary Duration [9.547947845734992]
イベントカメラはバイオインスパイアされたセンサーで、強度の変化を非同期に捉え、イベントストリームを出力する。本稿では, PAST-Act と呼ばれる新しいフレームワークを提案する。私たちはまた、コミュニティの利益のために任意の期間で、ArDVS100という名前の分レベルのイベントベースの認識データセットを構築しました。
論文参考訳（メタデータ） (2024-09-25T14:08:37Z)
SDformerFlow: Spatiotemporal swin spikeformer for event-based optical flow estimation [10.696635172502141]
イベントカメラは、光強度の変化をキャプチャする非同期でスパースなイベントストリームを生成する。スパイキングニューラルネットワーク(SNN)も同様の非同期特性とスパース特性を共有しており、イベントカメラに適している。本稿では,STTFlowNetとSDFlowformerという,高速かつ堅牢なイベントカメラ用光フロー推定手法を提案する。
論文参考訳（メタデータ） (2024-09-06T07:48:18Z)
Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
論文参考訳（メタデータ） (2024-05-27T22:15:23Z)
A Novel Spike Transformer Network for Depth Estimation from Event Cameras via Cross-modality Knowledge Distillation [3.355813093377501]
イベントカメラは従来のデジタルカメラとは異なる動作をし、データを継続的にキャプチャし、時間、位置、光強度を符号化するバイナリスパイクを生成する。これは、イベントカメラに適した革新的でスパイク対応のアルゴリズムの開発を必要とする。スパイクカメラデータから深度推定を行うために,純粋にスパイク駆動のスパイク変圧器ネットワークを提案する。
論文参考訳（メタデータ） (2024-04-26T11:32:53Z)
F3-Pruning: A Training-Free and Generalized Pruning Strategy towards Faster and Finer Text-to-Video Synthesis [94.10861578387443]
変圧器と拡散モデルを用いた2つの主流T2Vモデルの推論過程について検討する。本稿では、時間的余分な注意重みを突破するF3プルーニングと呼ばれるトレーニングフリーで一般化されたプルーニング戦略を提案する。古典的なトランスフォーマーベースモデルCogVideoと典型的な拡散ベースモデルTune-A-Videoを用いた3つのデータセットの大規模な実験により、F3-Pruningの有効性が検証された。
論文参考訳（メタデータ） (2023-12-06T12:34:47Z)
EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文参考訳（メタデータ） (2023-10-03T21:08:41Z)
Event-based Temporally Dense Optical Flow Estimation with Sequential Learning [11.026299772309796]
イベントカメラは、動きのぼやけなく素早く動く物体を捉えます。本稿では,100Hzの時間密流推定を問題として扱うことにより,時間密流推定が可能であることを示す。
論文参考訳（メタデータ） (2022-10-03T21:50:14Z)
Time-Frequency Localization Using Deep Convolutional Maxout Neural Network in Persian Speech Recognition [0.0]
一部の哺乳類の聴覚ニューロン系における時間周波数の柔軟性は、認識性能を向上させる。本稿では,ASR音響モデルにおける音声信号情報の時間的局所化のためのCNNに基づく構造を提案する。 TFCMNNモデルの平均認識スコアは、従来のモデルの平均よりも約1.6%高い。
論文参考訳（メタデータ） (2021-08-09T05:46:58Z)
STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文参考訳（メタデータ） (2021-07-15T02:53:11Z)
Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文参考訳（メタデータ） (2021-03-15T12:54:26Z)
Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文参考訳（メタデータ） (2020-03-20T08:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。