論文の概要: GMFlow: Learning Optical Flow via Global Matching

• arxiv url: http://arxiv.org/abs/2111.13680v1
• Date: Fri, 26 Nov 2021 18:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 17:46:53.074520
• Title: GMFlow: Learning Optical Flow via Global Matching
• Title（参考訳）: GMFlow:グローバルマッチングによる光フローの学習
• Authors: Haofei Xu, Jing Zhang, Jianfei Cai, Hamid Rezatofighi, Dacheng Tao
• Abstract要約: 光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
• 参考スコア（独自算出の注目度）: 124.57850500778277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning-based optical flow estimation has been dominated with the pipeline of cost volume with convolutions for flow regression, which is inherently limited to local correlations and thus is hard to address the long-standing challenge of large displacements. To alleviate this, the state-of-the-art method, i.e., RAFT, gradually improves the quality of its predictions by producing a sequence of flow updates via a large number of iterative refinements, achieving remarkable performance but slowing down the inference speed. To enable both high accuracy and efficiency optical flow estimation, we completely revamp the dominating flow regression pipeline by reformulating optical flow as a global matching problem. Specifically, we propose a GMFlow framework, which consists of three main components: a customized Transformer for feature enhancement, a correlation and softmax layer for global feature matching, and a self-attention layer for flow propagation. Moreover, we further introduce a refinement step that reuses GMFlow at higher-resolutions for residual flow prediction. Our new framework outperforms 32-iteration RAFT's performance on the challenging Sintel benchmark, while using only one refinement and running faster, offering new possibilities for efficient and accurate optical flow estimation. Code will be available at https://github.com/haofeixu/gmflow.
• Abstract（参考訳）: 学習に基づくオプティカルフロー推定は、本質的に局所相関に制限されるフロー回帰の畳み込みを伴うコストボリュームのパイプラインに支配されているため、大きな変位の長期的課題に対処するのは難しい。 これを緩和するために、最先端手法であるraftは、多数の反復的な改良によって一連のフロー更新を生成し、驚くべき性能を達成しつつ、推論速度を遅くすることで、その予測の質を徐々に向上させる。 高精度かつ効率の良い光流量推定を可能にするために, グローバルマッチング問題として光流れを再構成し, 支配流回帰パイプラインを完全に改良する。 具体的には,機能拡張のためのカスタマイズトランスフォーマー,グローバル機能マッチングのための相関およびソフトマックス層,フロー伝搬のためのセルフアテンション層という3つの主成分からなるgmflowフレームワークを提案する。 さらに, GMFlowを高分解能で再利用し, 残留流量予測を行う改良工程も導入する。 今回の新フレームワークは,sintelベンチマークで32文字のraftのパフォーマンスを上回り,1つの改良と高速実行のみを使用して,効率的かつ正確な光フロー推定を可能にする。 コードはhttps://github.com/haofeixu/gmflowで入手できる。

関連論文リスト

• FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
  FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。 私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
  論文  参考訳（メタデータ） (2024-06-01T17:29:29Z)
• PeRFlow: Piecewise Rectified Flow as Universal Plug-and-Play Accelerator [73.80050807279461]
  Piecewise Rectified Flow (PeRFlow) は拡散モデルの高速化のためのフローベース手法である。 PeRFlowは数ステップの世代で優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-13T07:10:53Z)
• Context-Aware Iteration Policy Network for Efficient Optical Flow Estimation [19.077966606237897]
  我々は,効率的な光フロー推定のためのコンテキスト認識反復ポリシーネットワークを開発した。 Sintel/KITTIデータセットのFLOPを約40%/20%削減しながら性能を維持できる。
  論文  参考訳（メタデータ） (2023-12-12T11:27:13Z)
• StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video Sequences [31.210626775505407]
  連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。 本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。 StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
  論文  参考訳（メタデータ） (2023-11-28T07:53:51Z)
• AccFlow: Backward Accumulation for Long-Range Optical Flow [70.4251045372285]
  本稿では、長距離光フロー推定のためのAccFlowと呼ばれる新しいリカレントフレームワークを提案する。 従来の前方累積よりも後方累積の方が優れていることを示す。 長距離光流量推定におけるAccFlowの有効性を検証する実験
  論文  参考訳（メタデータ） (2023-08-25T01:51:26Z)
• TransFlow: Transformer as Flow Learner [22.727953339383344]
  本稿では,光フロー推定のためのトランスフォーマーアーキテクチャであるTransFlowを提案する。 フロー推定において、より正確な相関と信頼できるマッチングを提供する。 ダイナミックなシーンにおける長距離時間的関連を通して、フロー推定においてより妥協された情報を復元する。
  論文  参考訳（メタデータ） (2023-04-23T03:11:23Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• LiteFlowNet3: Resolving Correspondence Ambiguity for More Accurate Optical Flow Estimation [99.19322851246972]
  本稿では,光フロー推定の問題に対処する2つのモジュールからなるディープネットワークである LiteFlowNet3 を紹介する。 LiteFlowNet3は、公開ベンチマークで有望な結果を達成するだけでなく、小さなモデルサイズと高速なランタイムも備えている。
  論文  参考訳（メタデータ） (2020-07-18T03:30:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。