論文の概要: Perturbed State Space Feature Encoders for Optical Flow with Event Cameras

• arxiv url: http://arxiv.org/abs/2504.10669v1
• Date: Mon, 14 Apr 2025 19:45:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:11:17.634575
• Title: Perturbed State Space Feature Encoders for Optical Flow with Event Cameras
• Title（参考訳）: イベントカメラを用いた光流用摂動状態空間特徴エンコーダ
• Authors: Gokul Raju Govinda Raju, Nikola Zubić, Marco Cannici, Davide Scaramuzza,
• Abstract要約: イベントベースのカメラは、光学的フロー推定のための従来のカメラよりも大きな利点がある。 イベントベースの光フローに採用されている現在のニューラルネットワークは、時間的および空間的推論の制限に直面している。 イベントカメラを用いた多フレーム光フローのための摂動状態空間特徴問題を提案する。
• 参考スコア（独自算出の注目度）: 17.147140984254655
• License:
• Abstract: With their motion-responsive nature, event-based cameras offer significant advantages over traditional cameras for optical flow estimation. While deep learning has improved upon traditional methods, current neural networks adopted for event-based optical flow still face temporal and spatial reasoning limitations. We propose Perturbed State Space Feature Encoders (P-SSE) for multi-frame optical flow with event cameras to address these challenges. P-SSE adaptively processes spatiotemporal features with a large receptive field akin to Transformer-based methods, while maintaining the linear computational complexity characteristic of SSMs. However, the key innovation that enables the state-of-the-art performance of our model lies in our perturbation technique applied to the state dynamics matrix governing the SSM system. This approach significantly improves the stability and performance of our model. We integrate P-SSE into a framework that leverages bi-directional flows and recurrent connections, expanding the temporal context of flow prediction. Evaluations on DSEC-Flow and MVSEC datasets showcase P-SSE's superiority, with 8.48% and 11.86% improvements in EPE performance, respectively.
• Abstract（参考訳）: モーション・レスポンシブな性質により、イベントベースのカメラは、光学的フロー推定のための従来のカメラよりも大きな利点がある。 ディープラーニングは従来の方法で改善されているが、イベントベースの光フローに採用されている現在のニューラルネットワークは、時間的および空間的推論の制限に直面している。 本稿では,これらの課題に対処するために,イベントカメラを用いた多フレーム光フローのための摂動状態空間特徴エンコーダ(P-SSE)を提案する。 P-SSEは、SSMの線形計算複雑性特性を維持しつつ、Transformer法に似た大きな受容場を持つ時空間特性を適応的に処理する。 しかし、我々のモデルの最先端性能を実現する重要な革新は、SSMシステムを管理する状態力学行列に適用される摂動技術にある。 このアプローチはモデルの安定性と性能を大幅に向上させる。 我々はP-SSEを双方向のフローとリカレント接続を利用するフレームワークに統合し、フロー予測の時間的コンテキストを拡張する。 DSEC-FlowデータセットとMVSECデータセットの評価では、それぞれ8.48%と11.86%のパフォーマンスが改善したP-SSEの優位性を示している。

関連論文リスト

• SDformerFlow: Spatiotemporal swin spikeformer for event-based optical flow estimation [10.696635172502141]
  イベントカメラは、光強度の変化をキャプチャする非同期でスパースなイベントストリームを生成する。 スパイキングニューラルネットワーク(SNN)も同様の非同期特性とスパース特性を共有しており、イベントカメラに適している。 本稿では,STTFlowNetとSDFlowformerという,高速かつ堅牢なイベントカメラ用光フロー推定手法を提案する。
  論文  参考訳（メタデータ） (2024-09-06T07:48:18Z)
• Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
  コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。 連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
  論文  参考訳（メタデータ） (2024-07-15T15:18:28Z)
• SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
  天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。 伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。 本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:00:15Z)
• Spatio-Temporal Fluid Dynamics Modeling via Physical-Awareness and Parameter Diffusion Guidance [18.861739607401322]
  本稿では,時空間流体力学モデリングのための2段階フレームワークST-PADを提案する。 上流では時間特性を持つベクトル再構成モジュールを設計する。 下流では、パラメータを含む拡散確率ネットワークを用いて、流体の高品質な将来状態を生成する。
  論文  参考訳（メタデータ） (2024-03-18T14:57:47Z)
• Generative Modeling with Phase Stochastic Bridges [49.4474628881673]
  拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。 我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。 我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
  論文  参考訳（メタデータ） (2023-10-11T18:38:28Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)
• hARMS: A Hardware Acceleration Architecture for Real-Time Event-Based Optical Flow [0.0]
  イベントベースの視覚センサは、視覚シーンの変化に基づいて、時間分解能の高い非同期イベントストリームを生成する。 イベントデータから光の流れを計算するための既存の解は、開口問題により運動の真の方向を捉えることができない。 本稿では,低消費電力な組込みプラットフォーム上での真の流れのリアルタイム計算を可能にするfARMSアルゴリズムのハードウェア実現について述べる。
  論文  参考訳（メタデータ） (2021-12-13T16:27:17Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• PCA Event-Based Otical Flow for Visual Odometry [0.0]
  本稿では,イベントベース光流量推定問題に対する主成分分析手法を提案する。 提案手法の最良の変種は,ビジュアルオドメトリーのリアルタイムコンテキストを対象とし,最先端実装と比較して約2倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-05-08T18:30:44Z)
• Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
  視覚SLAMシステムのための新しい最適化バックボーンを提案する。 従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。 我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
  論文  参考訳（メタデータ） (2020-11-02T18:02:26Z)
• Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level Optimization [59.9673626329892]
  エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。 我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
  論文  参考訳（メタデータ） (2020-02-26T22:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。