論文の概要: BAT: Learning Event-based Optical Flow with Bidirectional Adaptive Temporal Correlation
- arxiv url: http://arxiv.org/abs/2503.03256v1
- Date: Wed, 05 Mar 2025 08:20:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-06 15:52:13.418459
- Title: BAT: Learning Event-based Optical Flow with Bidirectional Adaptive Temporal Correlation
- Title（参考訳）: BAT:双方向適応時間相関を用いたイベントベース光学流れの学習
- Authors: Gangwei Xu, Haotong Lin, Zhaoxing Zhang, Hongcheng Luo, Haiyang Sun, Xin Yang,
- Abstract要約: イベントカメラは、高ダイナミックレンジと高時間分解能を特徴とする視覚情報を提供する。
イベントカメラの現在の高度な光フロー法は、確立された画像ベースのフレームワークを多く採用している。
本稿では、双方向適応時間相関を用いたイベントベース光フローを推定する革新的なフレームワークであるBATを提案する。
- 参考スコア（独自算出の注目度）: 9.216990457540941
- License:
- Abstract: Event cameras deliver visual information characterized by a high dynamic range and high temporal resolution, offering significant advantages in estimating optical flow for complex lighting conditions and fast-moving objects. Current advanced optical flow methods for event cameras largely adopt established image-based frameworks. However, the spatial sparsity of event data limits their performance. In this paper, we present BAT, an innovative framework that estimates event-based optical flow using bidirectional adaptive temporal correlation. BAT includes three novel designs: 1) a bidirectional temporal correlation that transforms bidirectional temporally dense motion cues into spatially dense ones, enabling accurate and spatially dense optical flow estimation; 2) an adaptive temporal sampling strategy for maintaining temporal consistency in correlation; 3) spatially adaptive temporal motion aggregation to efficiently and adaptively aggregate consistent target motion features into adjacent motion features while suppressing inconsistent ones. Our results rank $1^{st}$ on the DSEC-Flow benchmark, outperforming existing state-of-the-art methods by a large margin while also exhibiting sharp edges and high-quality details. Notably, our BAT can accurately predict future optical flow using only past events, significantly outperforming E-RAFT's warm-start approach. Code: \textcolor{magenta}{https://github.com/gangweiX/BAT}.
- Abstract（参考訳）: イベントカメラは、高ダイナミックレンジと高時間分解能を特徴とする視覚情報を提供し、複雑な照明条件や高速移動物体の光学的流れを推定する上で大きな利点を提供する。
イベントカメラの現在の高度な光フロー法は、確立された画像ベースのフレームワークを多く採用している。
しかし、イベントデータの空間的間隔は、その性能を制限している。
本稿では、双方向適応時間相関を用いたイベントベース光フローを推定する革新的なフレームワークであるBATを提案する。
BATには3つの新しいデザインが含まれている。
1) 双方向の時間的高密度な動きキューを空間的に高密度なものに変換し、正確かつ空間的に高密度な光フロー推定を可能にする双方向の時間的相関
2 相関における時間的整合性を維持するための適応的時間的サンプリング戦略
3) 空間適応的時間的運動集約により, 一致した目標運動特徴を隣接した運動特徴に効率よく, 適応的に集約し, 不整合を抑えることができた。
DSEC-Flowベンチマークで1^{st}$をランク付けし、最先端と高品質の詳細を示しながら、既存の最先端の手法を大きなマージンで上回りました。
特に,我々のBATは過去のイベントのみを用いて,将来の光の流れを正確に予測することができ,E-RAFTのウォームスタートアプローチを著しく上回っている。
コード: \textcolor{magenta}{https://github.com/gangweiX/BAT}。
関連論文リスト
- Spatially-guided Temporal Aggregation for Robust Event-RGB Optical Flow Estimation [47.75348821902489]
現在の光学フロー法は、フレーム(またはRGB)データの安定した出現を利用して、時間にわたって堅牢な対応を確立する。
一方、イベントカメラは、高時間分解能のモーションキューを提供し、挑戦的なシナリオに優れています。
本研究は,時間的に密度の高い事象モダリティの集合を導くために空間的に密度の高いモダリティを用いる新しいアプローチを提案する。
論文 参考訳（メタデータ） (2025-01-01T13:40:09Z) - Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。
連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
論文 参考訳（メタデータ） (2024-07-15T15:18:28Z) - PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Alignment [91.38256332633544]
PASTAは、HDRデゴスティングのためのプログレッシブアグリゲーションアグリゲーション・時空間アライメントフレームワークである。
提案手法は,特徴分散中の階層的表現を活用することにより,有効性と効率性を実現する。
実験結果から,従来のSOTA法よりもPASTAの方が視覚的品質と性能の両方で優れていることが示された。
論文 参考訳（メタデータ） (2024-03-15T15:05:29Z) - GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。
本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。
動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
論文 参考訳（メタデータ） (2023-09-28T07:46:01Z) - TMA: Temporal Motion Aggregation for Event-based Optical Flow [27.49029251605363]
イベントカメラは、時間分解能の高いオブジェクトの連続的かつ詳細な軌跡を記録できる。
既存の学習に基づくイベント光フロー推定手法は、イベントデータの時間的連続性を無視する。
本稿では,TMA(Temporal Motion Aggregation)アプローチを提案する。
論文 参考訳（メタデータ） (2023-03-21T06:51:31Z) - Learning Dense and Continuous Optical Flow from an Event Camera [28.77846425802558]
DAVISのようなイベントカメラは、高時間分解能イベントと低フレームレートの強度イメージを同時に出力することができる。
既存の光学フロー推定法のほとんどは、2つの連続した画像フレームに基づいており、固定時間間隔でのみ離散フローを推定できる。
本稿では,イベントストリームを持つ単一画像から,深層学習に基づく高密度かつ連続的な光フロー推定フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-16T17:53:18Z) - Correlating sparse sensing for large-scale traffic speed estimation: A
Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。
次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-10-21T07:25:57Z) - RGB Stream Is Enough for Temporal Action Detection [3.2689702143620147]
現在最先端の時間的動作検出器は、RGBフレームと光フローを含む2ストリーム入力に基づいている。
光フローは手作業で設計した表現であり、重い計算を必要とするだけでなく、2ストリームの手法がフローとともにエンドツーエンドで学習されないことも方法論的に不満足にしている。
我々は、光学フローが高精度な時間的動作検出において不要であり、光学フローを除去する際の性能劣化を回避するために、画像レベルのデータ拡張が鍵となるソリューションであると主張している。
論文 参考訳（メタデータ） (2021-07-09T11:10:11Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - Unsupervised Motion Representation Enhanced Network for Action
Recognition [4.42249337449125]
連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。
効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。
UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
論文 参考訳（メタデータ） (2021-03-05T04:14:32Z) - PAN: Towards Fast Action Recognition via Learning Persistence of
Appearance [60.75488333935592]
最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。
本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。
我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。
光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
論文 参考訳（メタデータ） (2020-08-08T07:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。