論文の概要: TMA: Temporal Motion Aggregation for Event-based Optical Flow
- arxiv url: http://arxiv.org/abs/2303.11629v1
- Date: Tue, 21 Mar 2023 06:51:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 16:22:17.879942
- Title: TMA: Temporal Motion Aggregation for Event-based Optical Flow
- Title（参考訳）: TMA:イベントベース光流の時間的運動集約
- Authors: Haotian Liu, Guang Chen, Sanqing Qu, Yanping Zhang, Zhijun Li, Alois
Knoll and Changjun Jiang
- Abstract要約: イベントカメラは、時間分解能の高いオブジェクトの連続的かつ詳細な軌跡を記録できる。
既存の学習に基づくイベント光フロー推定手法は、イベントデータの時間的連続性を無視する。
- 参考スコア（独自算出の注目度）: 21.7166952088382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras have the ability to record continuous and detailed trajectories
of objects with high temporal resolution, thereby providing intuitive motion
cues for optical flow estimation. Nevertheless, most existing learning-based
approaches for event optical flow estimation directly remould the paradigm of
conventional images by representing the consecutive event stream as static
frames, ignoring the inherent temporal continuity of event data. In this paper,
we argue that temporal continuity is a vital element of event-based optical
flow and propose a novel Temporal Motion Aggregation (TMA) approach to unlock
its potential. Technically, TMA comprises three components: an event splitting
strategy to incorporate intermediate motion information underlying the temporal
context, a linear lookup strategy to align temporally continuous motion
features and a novel motion pattern aggregation module to emphasize consistent
patterns for motion feature enhancement. By incorporating temporally continuous
motion information, TMA can derive better flow estimates than existing methods
at early stages, which not only enables TMA to obtain more accurate final
predictions, but also greatly reduces the demand for a number of refinements.
Extensive experiments on DESC-Flow and MVSEC datasets verify the effectiveness
and superiority of our TMA. Remarkably, compared to E-RAFT, TMA achieves a 6%
improvement in accuracy and a 40% reduction in inference time on DSEC-Flow.
- Abstract（参考訳）: イベントカメラは、時間分解能の高いオブジェクトの連続的かつ詳細な軌跡を記録できるので、光学的フロー推定のための直感的なモーションキューを提供する。
それにもかかわらず、イベント光フロー推定のための既存の学習ベースのアプローチは、連続するイベントストリームを静的なフレームとして表現し、イベントデータ固有の時間的連続性を無視して、従来の画像のパラダイムを直接的に取り除く。
本稿では、時間的連続性が事象ベースの光フローの重要な要素であり、その可能性を解き放つための新しい時間運動集約(TMA)アプローチを提案する。
技術的には、TMAは、時間的文脈の根底にある中間動作情報を組み込むイベント分割戦略、時間的連続的な動き特徴を整合させる線形ルックアップ戦略、動き特徴強調のための一貫したパターンを強調する新しい動きパターン集約モジュールの3つのコンポーネントから構成される。
時間的に連続した運動情報を組み込むことで、TMAは既存の手法よりも早い段階でより良い流量推定を導出し、TMAがより正確な最終予測を得られるだけでなく、多くの改良の需要を大幅に減らすことができる。
DESC-FlowとMVSECデータセットに関する大規模な実験は、我々のTMAの有効性と優位性を検証する。
注目すべきは、E-RAFTと比較して、TMAは精度6%の改善とDSEC-Flowでの推論時間の40%削減を実現している。
関連論文リスト
- Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。
連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
論文 参考訳（メタデータ） (2024-07-15T15:18:28Z) - Temporal Residual Guided Diffusion Framework for Event-Driven Video Reconstruction [23.493813870675197]
イベントベースのビデオ再構成は、ハイダイナミックレンジや高速モーションキャプチャ機能など、そのアドバンテージから注目を集めている。
現在の方法では、連続したイベントフローからの時間情報の抽出が優先され、シーン内の低周波テクスチャの特徴に過度に強調される。
本稿では,時間的・周波数的イベント前処理を効果的に活用する新しい手法である時間的残留ガイド拡散フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-15T11:48:57Z) - Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
フローベースビデオフレーム補間(VFI)における動きの重要性
本稿では,動きモデリングVFIの新規かつ効果的なアプローチである一般インプリシット・モーション・モデリング(IMM)を紹介する。
我々のGIMMは、正確にモデル化された動きを供給することによって、既存のフローベースVFIワークと容易に統合できる。
論文 参考訳（メタデータ） (2024-07-11T17:13:15Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。
従来の手法は手作りの機能と機械学習技術に依存している。
HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-02T12:04:28Z) - Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。
各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。
頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-14T02:58:27Z) - Learning Dense and Continuous Optical Flow from an Event Camera [28.77846425802558]
DAVISのようなイベントカメラは、高時間分解能イベントと低フレームレートの強度イメージを同時に出力することができる。
既存の光学フロー推定法のほとんどは、2つの連続した画像フレームに基づいており、固定時間間隔でのみ離散フローを推定できる。
本稿では,イベントストリームを持つ単一画像から,深層学習に基づく高密度かつ連続的な光フロー推定フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-16T17:53:18Z) - Motion-aware Memory Network for Fast Video Salient Object Detection [15.967509480432266]
我々は、隣接するフレームから現在のフレームの有用な時間情報をVSODの時間枝として抽出する時空間メモリ(STM)ベースのネットワークを設計する。
符号化段階では、電流とその隣接するフレームから高次特徴を用いて高次時間特徴を生成する。
復号化段階では,空間的および時間的分岐に対する効果的な融合戦略を提案する。
提案モデルでは,光学フローなどの前処理を必要とせず,推定時に100FPS近い速度に達することができる。
論文 参考訳（メタデータ） (2022-08-01T15:56:19Z) - ProgressiveMotionSeg: Mutually Reinforced Framework for Event-Based
Motion Segmentation [101.19290845597918]
本稿では,動作推定 (ME) モジュールとイベントデノイング (ED) モジュールを相互に強化された方法で共同最適化する。
時間的相関をガイダンスとして、EDモジュールは各イベントが実活動イベントに属するという信頼度を算出し、MEモジュールに送信し、ノイズ抑制のための運動セグメンテーションのエネルギー関数を更新する。
論文 参考訳（メタデータ） (2022-03-22T13:40:26Z) - Unsupervised Motion Representation Enhanced Network for Action
Recognition [4.42249337449125]
連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。
効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。
UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
論文 参考訳（メタデータ） (2021-03-05T04:14:32Z) - PAN: Towards Fast Action Recognition via Learning Persistence of
Appearance [60.75488333935592]
最先端のほとんどの手法は、動きの表現として密度の高い光の流れに大きく依存している。
本稿では,光学的フローに依存することで,高速な動作認識に光を当てる。
我々はPersistence of Outearance(PA)と呼ばれる新しい動きキューを設計する。
光学的流れとは対照的に,我々のPAは境界における運動情報の蒸留に重点を置いている。
論文 参考訳（メタデータ） (2020-08-08T07:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。