論文の概要: HMAFlow: Learning More Accurate Optical Flow via Hierarchical Motion Field Alignment
- arxiv url: http://arxiv.org/abs/2409.05531v1
- Date: Mon, 9 Sep 2024 11:43:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 14:50:09.485460
- Title: HMAFlow: Learning More Accurate Optical Flow via Hierarchical Motion Field Alignment
- Title(参考訳): HMAFlow:階層運動場アライメントによるより正確な光学流れの学習
- Authors: Dianbo Ma, Kousuke Imamura, Ziyan Gao, Xiangjie Wang, Satoshi Yamane,
- Abstract要約: 本稿では,HMAFlowと呼ばれる新しい手法を提案する。
我々は,マルチスケール相関探索層を用いて4次元コストボリュームを再構築し,共通コストボリュームにおける平均プールを探索戦略に置き換える。
実験により,本モデルが他の最先端手法と比較して最高の一般化性能を達成できることが実証された。
- 参考スコア(独自算出の注目度): 0.5825410941577593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical flow estimation is a fundamental and long-standing visual task. In this work, we present a novel method, dubbed HMAFlow, to improve optical flow estimation in these tough scenes, especially with small objects. The proposed model mainly consists of two core components: a Hierarchical Motion Field Alignment (HMA) module and a Correlation Self-Attention (CSA) module. In addition, we rebuild 4D cost volumes by employing a Multi-Scale Correlation Search (MCS) layer and replacing average pooling in common cost volumes with an search strategy using multiple search ranges. Experimental results demonstrate that our model achieves the best generalization performance in comparison to other state-of-the-art methods. Specifically, compared with RAFT, our method achieves relative error reductions of 14.2% and 3.4% on the clean pass and final pass of the Sintel online benchmark, respectively. On the KITTI test benchmark, HMAFlow surpasses RAFT and GMA in the Fl-all metric by a relative margin of 6.8% and 7.7%, respectively. To facilitate future research, our code will be made available at https://github.com/BooTurbo/HMAFlow.
- Abstract(参考訳): 光フロー推定は、基本的で長期にわたる視覚的タスクである。
本研究では,これらの難易度,特に小物体の光学的フロー推定を改善するために,HMAFlowと呼ばれる新しい手法を提案する。
提案モデルは主に,階層型運動場アライメント(HMA)モジュールと相関自己認識(CSA)モジュールの2つのコアコンポーネントから構成される。
さらに,Multi-Scale correlation Search (MCS) レイヤを用いて4次元コストボリュームを再構築し,共通コストボリュームにおける平均プールを複数の検索範囲を用いた検索戦略に置き換える。
実験により,本モデルが他の最先端手法と比較して最高の一般化性能を達成できることが実証された。
具体的には、RAFTと比較して、Sintelオンラインベンチマークのクリーンパスとファイナルパスにおいて、相対誤差の14.2%と3.4%の削減を実現している。
KITTIテストベンチマークでは、HMAFlowがRAFTとGMAをそれぞれ6.8%と7.7%で上回っている。
将来の調査を容易にするため、私たちのコードはhttps://github.com/BooTurbo/HMAFlow.comで公開されます。
関連論文リスト
- RecFlow: An Industrial Full Flow Recommendation Dataset [66.06445386541122]
産業レコメンデーションシステムは、商品をユーザに届ける際の効率性と効率のバランスをとるために、多段階パイプラインに依存している。
オフラインRSベンチマークと実際のオンライン環境とのギャップを埋めるために設計された産業用フルフローレコメンデーションデータセットであるRecFlowを紹介します。
我々のデータセットは、約9万項目にわたる42Kユーザからの38万のインタラクションで構成され、37日間にわたる9.3Mオンラインリクエストから収集された1.9Bステージサンプルと6ステージにまたがる。
論文 参考訳(メタデータ) (2024-10-28T09:36:03Z) - ScaleFlow++: Robust and Accurate Estimation of 3D Motion from Video [26.01796507893086]
本稿では,3次元モーション認識手法であるScaleFlow++を提案する。
たった1対のRGBイメージで、ScaleFlow++は光学フローとモーションインディープス(MID)をしっかりと推定できる。
KITTIでは、ScaleFlow++は、SF-allを6.21から5.79に削減し、最高のモノクロシーンフロー推定性能を達成した。
論文 参考訳(メタデータ) (2024-09-16T11:59:27Z) - ScaleFlow++: Robust and Accurate Estimation of 3D Motion from Video [15.629496237910999]
本稿では,3次元モーション認識手法であるScaleFlow++を提案する。
たった1対のRGBイメージで、ScaleFlow++は光学フローとモーションインディープス(MID)をしっかりと推定できる。
KITTIでは、ScaleFlow++は、SF-allを6.21から5.79に削減し、最高のモノクロシーンフロー推定性能を達成した。
論文 参考訳(メタデータ) (2024-07-13T07:58:48Z) - Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。
実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。
学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
論文 参考訳(メタデータ) (2023-04-04T22:45:50Z) - Rethinking Optical Flow from Geometric Matching Consistent Perspective [38.014569953980754]
本稿では,従来の光流量推定法について再考する。
我々は,より優れた特徴表現を持つ光フロー推定(MatchFlow)のための事前学習タスクとして,GIMを使用している。
Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。
論文 参考訳(メタデータ) (2023-03-15T06:00:38Z) - Comparative Study of Coupling and Autoregressive Flows through Robust
Statistical Tests [0.0]
本稿では,アフィン型と有理2次型の両方において,カップリングと自己回帰流の詳細な比較を提案する。
本研究は,4~400の次元を増大させるマルチモーダルターゲット分布の集合に着目した。
以上の結果から,A-RQSアルゴリズムは精度とトレーニング速度の両面で際立っていることが示唆された。
論文 参考訳(メタデータ) (2023-02-23T13:34:01Z) - Bi-PointFlowNet: Bidirectional Learning for Point Cloud Based Scene Flow
Estimation [3.1869033681682124]
本稿では,双方向フロー埋め込み層を用いた新しいシーンフロー推定アーキテクチャを提案する。
提案する双方向層は,前方方向と後方方向の両方で特徴を学習し,推定性能を向上させる。
さらに、階層的特徴抽出とワープにより性能が向上し、計算オーバーヘッドが減少する。
論文 参考訳(メタデータ) (2022-07-15T15:14:53Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳(メタデータ) (2022-07-04T09:05:25Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳(メタデータ) (2021-11-26T18:59:56Z) - Learning to Generate Content-Aware Dynamic Detectors [62.74209921174237]
サンプル適応型モデルアーキテクチャを自動的に生成する効率的な検出器の設計を新たに導入する。
動的ルーティングの学習を導くために、オブジェクト検出に適したコースツーファインの成層図を紹介します。
MS-COCOデータセットの実験により、CADDetはバニラルーティングに比べて10%少ないFLOPで1.8以上のmAPを達成することが示された。
論文 参考訳(メタデータ) (2020-12-08T08:05:20Z) - FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for
Optical Flow Estimation [72.41370576242116]
フレーム対からの光フロー推定のための半教師付き特徴ピラミッド相関・残留再構成ネットワーク(FPCR-Net)を提案する。
ピラミッド相関マッピングと残留再構成の2つの主要なモジュールで構成されている。
実験結果から,提案手法は,平均終点誤差 (AEE) に対して0.80, 1.15, 0.10の改善を達成し,最先端性能を実現していることがわかった。
論文 参考訳(メタデータ) (2020-01-17T07:13:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。