論文の概要: Spatio-Temporal State Space Model For Efficient Event-Based Optical Flow

• arxiv url: http://arxiv.org/abs/2506.07878v1
• Date: Mon, 09 Jun 2025 15:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.030569
• Title: Spatio-Temporal State Space Model For Efficient Event-Based Optical Flow
• Title（参考訳）: 効率的なイベントベース光流のための時空間時空間モデル
• Authors: Muhammad Ahmed Humais, Xiaoqian Huang, Hussain Sajwani, Sajid Javed, Yahya Zweiri,
• Abstract要約: イベントベースの動き推定(光学フロー)は多くのリアルタイムアプリケーションにとって重要である。 SNNやGNNなどのイベントベースの手法は計算効率が良いが、これらの手法は十分な非同期時間情報の取得に失敗する。 本稿では,新しいネットワークアーキテクチャとともにSTSSMモジュールを導入し,競争性能の高い効率的なソリューションを開発した。
• 参考スコア（独自算出の注目度）: 5.004444099596694
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Event cameras unlock new frontiers that were previously unthinkable with standard frame-based cameras. One notable example is low-latency motion estimation (optical flow), which is critical for many real-time applications. In such applications, the computational efficiency of algorithms is paramount. Although recent deep learning paradigms such as CNN, RNN, or ViT have shown remarkable performance, they often lack the desired computational efficiency. Conversely, asynchronous event-based methods including SNNs and GNNs are computationally efficient; however, these approaches fail to capture sufficient spatio-temporal information, a powerful feature required to achieve better performance for optical flow estimation. In this work, we introduce Spatio-Temporal State Space Model (STSSM) module along with a novel network architecture to develop an extremely efficient solution with competitive performance. Our STSSM module leverages state-space models to effectively capture spatio-temporal correlations in event data, offering higher performance with lower complexity compared to ViT, CNN-based architectures in similar settings. Our model achieves 4.5x faster inference and 8x lower computations compared to TMA and 2x lower computations compared to EV-FlowNet with competitive performance on the DSEC benchmark. Our code will be available at https://github.com/AhmedHumais/E-STMFlow
• Abstract（参考訳）: イベントカメラは、これまでフレームベースの標準的なカメラでは考えられなかった新しいフロンティアをアンロックする。 1つの顕著な例は低遅延運動推定(光の流れ)であり、多くのリアルタイムアプリケーションにとって重要なものである。 このような応用では、アルゴリズムの計算効率が最重要である。 近年のCNN、RNN、ViTなどのディープラーニングパラダイムは目覚ましい性能を示しているが、望まれる計算効率を欠いていることが多い。 逆に、SNNやGNNなどの非同期イベントベースの手法は計算効率が良いが、これらの手法では十分な時空間情報の取得に失敗する。 本研究では,STSSM(Spatio-Temporal State Space Model)モジュールと新しいネットワークアーキテクチャを導入し,競争性能の高い極めて効率的なソリューションを開発した。 我々のSTSSMモジュールは、状態空間モデルを活用し、イベントデータの時空間相関を効果的にキャプチャし、同様の設定で、ViT、CNNベースのアーキテクチャと比較して、より少ない複雑さで高いパフォーマンスを提供する。 DSECベンチマークでは, EV-FlowNet と比較して, TMA と 2 の計算よりも 4.5 倍高速な推論と 8 倍低速計算を実現している。 私たちのコードはhttps://github.com/AhmedHumais/E-STMFlowで公開されます。

関連論文リスト

• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity [39.483346492111515]
  線形リカレントニューラルネットワークは、推論中に一定のメモリ使用量と時間毎の時間を含む強力な長距離シーケンスモデリングを可能にする。 非構造化空間は、互換性のあるハードウェアプラットフォームによって加速されるときに、計算とメモリの要求を大幅に削減できる魅力的なソリューションを提供する。 非常に疎い線形RNNは、高密度ベースラインよりも高い効率と性能のトレードオフを一貫して達成している。
  論文  参考訳（メタデータ） (2025-02-03T13:09:21Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video Sequences [31.210626775505407]
  連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。 本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。 StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
  論文  参考訳（メタデータ） (2023-11-28T07:53:51Z)
• Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation [12.611797572621398]
  非同期イベント駆動型計算でニューラルネットワーク(SNN)をスパイクすることは、イベントストリームから機能を抽出する大きな可能性を秘めている。 本稿では,両者の強みを組み合わせた新しいSNN-ANNハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:26:02Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• EcoFlow: Efficient Convolutional Dataflows for Low-Power Neural Network Accelerators [12.223778147172107]
  拡張畳み込み畳み込みは現代の畳み込みニューラルネットワーク(CNN)で広く使われている これらのカーネルは、その高いメモリ強度、エクサスケールな計算要求、大きなエネルギー消費のために、現在の計算システムを強調している。 拡張および変換された畳み込みのための新しいデータフローとマッピングアルゴリズムであるEcoFlowを提案する。
  論文  参考訳（メタデータ） (2022-02-04T18:48:36Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• Real-time Semantic Segmentation with Fast Attention [94.88466483540692]
  本稿では,高解像度画像と映像をリアルタイムにセマンティックセグメンテーションするための新しいアーキテクチャを提案する。 提案したアーキテクチャは我々の空間的注意の速さに依存しており、これは一般的な自己注意機構の単純かつ効率的な修正である。 複数のデータセットに対する結果から,既存の手法に比べて精度と速度が向上し,優れた性能を示した。
  論文  参考訳（メタデータ） (2020-07-07T22:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。