論文の概要: Nonlinear Motion-Guided and Spatio-Temporal Aware Network for Unsupervised Event-Based Optical Flow

• arxiv url: http://arxiv.org/abs/2505.05089v1
• Date: Thu, 08 May 2025 09:39:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.832294
• Title: Nonlinear Motion-Guided and Spatio-Temporal Aware Network for Unsupervised Event-Based Optical Flow
• Title（参考訳）: 非教師なしイベントベース光流のための非線形動作誘導時空間認識ネットワーク
• Authors: Zuntao Liu, Hao Zhuang, Junjie Jiang, Yuhang Song, Zheng Fang,
• Abstract要約: イベントベースの光フロー推定は、時間と空間の連続的な動き情報をキャプチャする可能性がある。 イベントベースの光学フローのための既存の学習ベースの手法は、フレームベースの手法を採用している。 本稿では,時系列に焦点をあてた非教師なしイベントベース光フローネットワークを提案する。 本手法は,MVSECおよびDSECFlowデータセットにおける教師なし学習手法の1つである。
• 参考スコア（独自算出の注目度）: 8.16793106376875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras have the potential to capture continuous motion information over time and space, making them well-suited for optical flow estimation. However, most existing learning-based methods for event-based optical flow adopt frame-based techniques, ignoring the spatio-temporal characteristics of events. Additionally, these methods assume linear motion between consecutive events within the loss time window, which increases optical flow errors in long-time sequences. In this work, we observe that rich spatio-temporal information and accurate nonlinear motion between events are crucial for event-based optical flow estimation. Therefore, we propose E-NMSTFlow, a novel unsupervised event-based optical flow network focusing on long-time sequences. We propose a Spatio-Temporal Motion Feature Aware (STMFA) module and an Adaptive Motion Feature Enhancement (AMFE) module, both of which utilize rich spatio-temporal information to learn spatio-temporal data associations. Meanwhile, we propose a nonlinear motion compensation loss that utilizes the accurate nonlinear motion between events to improve the unsupervised learning of our network. Extensive experiments demonstrate the effectiveness and superiority of our method. Remarkably, our method ranks first among unsupervised learning methods on the MVSEC and DSEC-Flow datasets. Our project page is available at https://wynelio.github.io/E-NMSTFlow.
• Abstract（参考訳）: イベントカメラは、時間と空間の連続した動き情報をキャプチャする可能性があり、光フロー推定に適している。 しかし、既存の学習に基づくイベントベース光学フローの手法では、イベントの時空間特性を無視してフレームベースの手法が採用されている。 さらに、損失時間ウィンドウ内の連続するイベント間の線形運動を仮定し、長時間のシーケンスにおける光フロー誤差を増大させる。 本研究では,事象間の時間的情報と正確な非線形運動がイベントベース光フロー推定に不可欠であることを示す。 そこで本稿では,時間列に着目したイベントベース光フローネットワークであるE-NMSTFlowを提案する。 本研究では、時空間情報を利用して時空間データアソシエーションを学習する時空間運動特徴強調モジュール(STMFA)と時空間運動特徴強調モジュール(AMFE)を提案する。 一方,ネットワークの教師なし学習を改善するために,イベント間の正確な非線形動作を利用する非線形動作補償損失を提案する。 大規模な実験により,本手法の有効性と優位性を実証した。 また,本手法はMVSECおよびDSEC-Flowデータセットにおける教師なし学習手法の1つである。 私たちのプロジェクトページはhttps://wynelio.github.io/E-NMSTFlow.comで公開されています。

関連論文リスト

• SuperFlow++: Enhanced Spatiotemporal Consistency for Cross-Modal Data Pretraining [62.433137130087445]
  SuperFlow++は、連続するカメラペアを使用して事前トレーニングと下流タスクを統合する新しいフレームワークである。 SuperFlow++は様々なタスクや運転条件で最先端のメソッドよりも優れています。 強力な一般化性と計算効率により、SuperFlow++は、自動運転におけるデータ効率の高いLiDARベースの認識のための新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:57Z)
• Spatially-guided Temporal Aggregation for Robust Event-RGB Optical Flow Estimation [47.75348821902489]
  現在の光学フロー法は、フレーム(またはRGB)データの安定した出現を利用して、時間にわたって堅牢な対応を確立する。 一方、イベントカメラは、高時間分解能のモーションキューを提供し、挑戦的なシナリオに優れています。 本研究は,時間的に密度の高い事象モダリティの集合を導くために空間的に密度の高いモダリティを用いる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-01T13:40:09Z)
• Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
  コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。 連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
  論文  参考訳（メタデータ） (2024-07-15T15:18:28Z)
• GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
  我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。 本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。 動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
  論文  参考訳（メタデータ） (2023-09-28T07:46:01Z)
• AccFlow: Backward Accumulation for Long-Range Optical Flow [70.4251045372285]
  本稿では、長距離光フロー推定のためのAccFlowと呼ばれる新しいリカレントフレームワークを提案する。 従来の前方累積よりも後方累積の方が優れていることを示す。 長距離光流量推定におけるAccFlowの有効性を検証する実験
  論文  参考訳（メタデータ） (2023-08-25T01:51:26Z)
• Towards Anytime Optical Flow Estimation with Event Cameras [35.685866753715416]
  イベントカメラは、マイクロ秒間の対数輝度の変化に対応することができる。 イベントカメラを介して収集された既存のデータセットは、限られたフレームレートの光学フローグラウンド真理を提供する。 本研究では,高フレームレートのイベント光流を生成するEVent-based Anytime Flow推定ネットワークであるEVA-Flowを提案する。
  論文  参考訳（メタデータ） (2023-07-11T06:15:12Z)
• TMA: Temporal Motion Aggregation for Event-based Optical Flow [27.49029251605363]
  イベントカメラは、時間分解能の高いオブジェクトの連続的かつ詳細な軌跡を記録できる。 既存の学習に基づくイベント光フロー推定手法は、イベントデータの時間的連続性を無視する。 本稿では,TMA(Temporal Motion Aggregation)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-21T06:51:31Z)
• Motion-inductive Self-supervised Object Discovery in Videos [99.35664705038728]
  本稿では,連続的なRGBフレームの処理モデルを提案し,層状表現を用いて任意のフレーム間の光の流れを推定する。 3つの公開ビデオセグメンテーションデータセットにおいて,従来の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-01T08:38:28Z)
• Dense Continuous-Time Optical Flow from Events and Frames [27.1850072968441]
  イベントカメラからのイベントを用いて,画素ごとの連続時間光フローを計算可能であることを示す。 これらの利点を利用して、パラメータ化されたB'ezier曲線を介して連続時間でピクセル軌跡を密に予測する。 我々のモデルは、イベントデータから高密度画素軌道を回帰できる最初の方法である。
  論文  参考訳（メタデータ） (2022-03-25T14:29:41Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。