論文の概要: HMAFlow: Learning More Accurate Optical Flow via Hierarchical Motion Field Alignment
- arxiv url: http://arxiv.org/abs/2409.05531v2
- Date: Sun, 15 Sep 2024 06:37:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 22:28:35.701479
- Title: HMAFlow: Learning More Accurate Optical Flow via Hierarchical Motion Field Alignment
- Title(参考訳): HMAFlow:階層運動場アライメントによるより正確な光学流れの学習
- Authors: Dianbo Ma, Kousuke Imamura, Ziyan Gao, Xiangjie Wang, Satoshi Yamane,
- Abstract要約: 本稿では,挑戦シーンにおける光学的フロー推定を改善するために,HMAFlowと呼ばれる新しい手法を提案する。
提案モデルは主に,階層型運動場アライメント(HMA)モジュールと相関自己認識(CSA)モジュールの2つのコアコンポーネントから構成される。
実験により,本モデルが他の最先端手法と比較して最高の一般化性能を達成できることが実証された。
- 参考スコア(独自算出の注目度): 0.5825410941577593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical flow estimation is a fundamental and long-standing visual task. In this work, we present a novel method, dubbed HMAFlow, to improve optical flow estimation in challenging scenes, particularly those involving small objects. The proposed model mainly consists of two core components: a Hierarchical Motion Field Alignment (HMA) module and a Correlation Self-Attention (CSA) module. In addition, we rebuild 4D cost volumes by employing a Multi-Scale Correlation Search (MCS) layer and replacing average pooling in common cost volumes with a search strategy utilizing multiple search ranges. Experimental results demonstrate that our model achieves the best generalization performance compared to other state-of-the-art methods. Specifically, compared with RAFT, our method achieves relative error reductions of 14.2% and 3.4% on the clean pass and final pass of the Sintel online benchmark, respectively. On the KITTI test benchmark, HMAFlow surpasses RAFT and GMA in the Fl-all metric by relative margins of 6.8% and 7.7%, respectively. To facilitate future research, our code will be made available at https://github.com/BooTurbo/HMAFlow.
- Abstract(参考訳): 光フロー推定は、基本的で長期にわたる視覚的タスクである。
本研究では,難易度の高いシーン,特に小物体を含むシーンにおいて,光学的フロー推定を改善するため,HMAFlowと呼ばれる新しい手法を提案する。
提案モデルは主に,階層型運動場アライメント(HMA)モジュールと相関自己認識(CSA)モジュールの2つのコアコンポーネントから構成される。
さらに,Multi-Scale correlation Search (MCS) レイヤを用いて4次元コストボリュームを再構築し,共通コストボリュームにおける平均プールを複数の検索範囲を利用した検索戦略に置き換える。
実験により,本モデルが他の最先端手法と比較して最高の一般化性能を達成できることが実証された。
具体的には、RAFTと比較して、Sintelオンラインベンチマークのクリーンパスとファイナルパスにおいて、相対誤差の14.2%と3.4%の削減を実現している。
KITTIテストベンチマークでは、HMAFlowがRAFTとGMAをそれぞれ6.8%と7.7%で上回っている。
将来の調査を容易にするため、私たちのコードはhttps://github.com/BooTurbo/HMAFlow.comで公開されます。
関連論文リスト
- GMSF: Global Matching Scene Flow [17.077134204089536]
我々は点雲からのシーンフロー推定の課題に取り組む。
ソースとターゲットポイントクラウドが与えられた場合、目的はソースポイントクラウドの各ポイントからターゲットへの変換を推定することである。
そこで本研究では,この問題に対処するため,より単純なワンショット・ワンショット・グローバルマッチングを提案する。
論文 参考訳(メタデータ) (2023-05-27T10:04:21Z) - Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。
実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。
学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
論文 参考訳(メタデータ) (2023-04-04T22:45:50Z) - Rethinking Optical Flow from Geometric Matching Consistent Perspective [38.014569953980754]
本稿では,従来の光流量推定法について再考する。
我々は,より優れた特徴表現を持つ光フロー推定(MatchFlow)のための事前学習タスクとして,GIMを使用している。
Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。
論文 参考訳(メタデータ) (2023-03-15T06:00:38Z) - VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow
Estimation [61.660040308290796]
VideoFlowはビデオのための新しい光フロー推定フレームワークである。
まず、TRiフレーム光フロー(TROF)モジュールを提案し、3フレーム方式で中央フレームの双方向光フローを推定する。
反復流量推定精細化により、個々のTROFに融合した情報をMOPを介して全シーケンスに伝播することができる。
論文 参考訳(メタデータ) (2023-03-15T03:14:30Z) - Comparative Study of Coupling and Autoregressive Flows through Robust
Statistical Tests [0.0]
本稿では,アフィン型と有理2次型の両方において,カップリングと自己回帰流の詳細な比較を提案する。
本研究は,4~400の次元を増大させるマルチモーダルターゲット分布の集合に着目した。
以上の結果から,A-RQSアルゴリズムは精度とトレーニング速度の両面で際立っていることが示唆された。
論文 参考訳(メタデータ) (2023-02-23T13:34:01Z) - Bi-PointFlowNet: Bidirectional Learning for Point Cloud Based Scene Flow
Estimation [3.1869033681682124]
本稿では,双方向フロー埋め込み層を用いた新しいシーンフロー推定アーキテクチャを提案する。
提案する双方向層は,前方方向と後方方向の両方で特徴を学習し,推定性能を向上させる。
さらに、階層的特徴抽出とワープにより性能が向上し、計算オーバーヘッドが減少する。
論文 参考訳(メタデータ) (2022-07-15T15:14:53Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳(メタデータ) (2022-07-04T09:05:25Z) - DIP: Deep Inverse Patchmatch for High-Resolution Optical Flow [7.73554718719193]
本稿では,高分解能光フロー推定のための新しいPatchmatchベースのフレームワークを提案する。
伝播とPatchmatchの局所探索の恩恵を受け、低メモリで高精度な結果が得られる。
提案手法は,KITTI2015ベンチマークのすべての指標で第1位,Sintelクリーンベンチマークでは第2位である。
論文 参考訳(メタデータ) (2022-04-01T10:13:59Z) - Joint Feature Learning and Relation Modeling for Tracking: A One-Stream
Framework [76.70603443624012]
特徴学習と関係モデリングを統合した新しい一ストリーム追跡(OSTrack)フレームワークを提案する。
このようにして、相互誘導により識別的目標指向特徴を動的に抽出することができる。
OSTrackは、複数のベンチマークで最先端のパフォーマンスを実現しており、特に、ワンショットトラッキングベンチマークのGOT-10kでは印象的な結果を示している。
論文 参考訳(メタデータ) (2022-03-22T18:37:11Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳(メタデータ) (2021-11-26T18:59:56Z) - FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for
Optical Flow Estimation [72.41370576242116]
フレーム対からの光フロー推定のための半教師付き特徴ピラミッド相関・残留再構成ネットワーク(FPCR-Net)を提案する。
ピラミッド相関マッピングと残留再構成の2つの主要なモジュールで構成されている。
実験結果から,提案手法は,平均終点誤差 (AEE) に対して0.80, 1.15, 0.10の改善を達成し,最先端性能を実現していることがわかった。
論文 参考訳(メタデータ) (2020-01-17T07:13:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。