論文の概要: VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow Estimation

• arxiv url: http://arxiv.org/abs/2303.08340v3
• Date: Sun, 20 Aug 2023 15:14:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 01:25:23.356280
• Title: VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow Estimation
• Title（参考訳）: videoflow: 時間的手がかりを利用した多フレーム光流推定
• Authors: Xiaoyu Shi, Zhaoyang Huang, Weikang Bian, Dasong Li, Manyuan Zhang, Ka Chun Cheung, Simon See, Hongwei Qin, Jifeng Dai, Hongsheng Li
• Abstract要約: VideoFlowはビデオのための新しい光フロー推定フレームワークである。 まず、TRiフレーム光フロー(TROF)モジュールを提案し、3フレーム方式で中央フレームの双方向光フローを推定する。 反復流量推定精細化により、個々のTROFに融合した情報をMOPを介して全シーケンスに伝播することができる。
• 参考スコア（独自算出の注目度）: 61.660040308290796
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce VideoFlow, a novel optical flow estimation framework for videos. In contrast to previous methods that learn to estimate optical flow from two frames, VideoFlow concurrently estimates bi-directional optical flows for multiple frames that are available in videos by sufficiently exploiting temporal cues. We first propose a TRi-frame Optical Flow (TROF) module that estimates bi-directional optical flows for the center frame in a three-frame manner. The information of the frame triplet is iteratively fused onto the center frame. To extend TROF for handling more frames, we further propose a MOtion Propagation (MOP) module that bridges multiple TROFs and propagates motion features between adjacent TROFs. With the iterative flow estimation refinement, the information fused in individual TROFs can be propagated into the whole sequence via MOP. By effectively exploiting video information, VideoFlow presents extraordinary performance, ranking 1st on all public benchmarks. On the Sintel benchmark, VideoFlow achieves 1.649 and 0.991 average end-point-error (AEPE) on the final and clean passes, a 15.1% and 7.6% error reduction from the best-published results (1.943 and 1.073 from FlowFormer++). On the KITTI-2015 benchmark, VideoFlow achieves an F1-all error of 3.65%, a 19.2% error reduction from the best-published result (4.52% from FlowFormer++). Code is released at \url{https://github.com/XiaoyuShi97/VideoFlow}.
• Abstract（参考訳）: ビデオのための新しい光フロー推定フレームワークであるVideoFlowを紹介する。 2つのフレームから光の流れを推定することを学ぶ従来の方法とは対照的に、videoflowは時間的手がかりを十分に活用してビデオで利用可能な複数のフレームの双方向光フローを同時推定する。 まず、TRiフレーム光フロー(TROF)モジュールを提案し、3フレーム方式で中央フレームの双方向光フローを推定する。 フレームトリプルトの情報は、中心フレームに反復的に融合される。 より多くのフレームを扱うためのTROFを拡張するために,複数のTROFをブリッジし,隣接するTROF間での動作特徴を伝搬するMOPモジュールを提案する。 反復流量推定補正により、個々のTROFに融合した情報をMOPを介して全シーケンスに伝播することができる。 ビデオ情報を効果的に活用することで、VideoFlowは素晴らしいパフォーマンスを示し、すべての公開ベンチマークで1位にランクインする。 sintelベンチマークでは、videoflow は最終パスとクリーンパスで 1.649 と 0.991 の end-point-error (aepe) を達成し、ベストパブリッシング結果 (flowformer++ による 1.943 と 1.073 ) から 15.1% と 7.6% のエラー低減を達成した。 KITTI-2015ベンチマークでは、VideoFlowがF1-allエラーを3.65%達成し、最高の結果から19.2%エラーを削減した(FlowFormer++の4.52%)。 コードは \url{https://github.com/xiaoyushi97/videoflow} でリリースされる。

関連論文リスト

• MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
  本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。 本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。 われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
  論文  参考訳（メタデータ） (2024-04-07T04:56:58Z)
• FlowVid: Taming Imperfect Optical Flows for Consistent Video-to-Video Synthesis [66.2611385251157]
  拡散モデルはイメージ・ツー・イメージ(I2I)合成を変換し、現在はビデオに浸透している。 本稿では,空間条件と時間的光フロー手がかりを併用した一貫したV2V合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-29T16:57:12Z)
• MVFlow: Deep Optical Flow Estimation of Compressed Videos with Motion Vector Prior [16.633665275166706]
  圧縮ビデオにおける光フロー推定の速度と精度を向上させるために運動ベクトルを用いた光フローモデルMVFlowを提案する。 実験の結果,既存のモデルと比較して提案したMVFlowの1.09倍の精度を示し,既存のモデルと同様の精度で保存時間を短縮した。
  論文  参考訳（メタデータ） (2023-08-03T07:16:18Z)
• Towards An End-to-End Framework for Flow-Guided Video Inpainting [68.71844500391023]
  フローガイド型ビデオインペインティングのためのエンドツーエンドフレームワーク(E$2$FGVI)を提案する。 提案手法は定性的かつ定量的に最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-04-06T08:24:47Z)
• PanoFlow: Learning Optical Flow for Panoramic Images [8.009873804948919]
  パノラマ画像の光学的流れを学習するための新しいネットワークフレームワークであるパノフローを開発した。 本稿では,フロー歪み増大法 (FDA) と循環フロー推定法 (CFE) を提案する。 提案手法により,確立したFlow360データセット上のEnd-Point-Error(EPE)を26%削減する。
  論文  参考訳（メタデータ） (2022-02-27T16:03:38Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。