論文の概要: MVFlow: Deep Optical Flow Estimation of Compressed Videos with Motion Vector Prior

• arxiv url: http://arxiv.org/abs/2308.01568v2
• Date: Fri, 4 Aug 2023 04:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-07 10:16:12.471123
• Title: MVFlow: Deep Optical Flow Estimation of Compressed Videos with Motion Vector Prior
• Title（参考訳）: MVFlow:モーションベクトルを用いた圧縮映像の深部光学的流れ推定
• Authors: Shili Zhou, Xuhao Jiang, Weimin Tan, Ruian He and Bo Yan
• Abstract要約: 圧縮ビデオにおける光フロー推定の速度と精度を向上させるために運動ベクトルを用いた光フローモデルMVFlowを提案する。 実験の結果,既存のモデルと比較して提案したMVFlowの1.09倍の精度を示し,既存のモデルと同様の精度で保存時間を短縮した。
• 参考スコア（独自算出の注目度）: 16.633665275166706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, many deep learning-based methods have been proposed to tackle the problem of optical flow estimation and achieved promising results. However, they hardly consider that most videos are compressed and thus ignore the pre-computed information in compressed video streams. Motion vectors, one of the compression information, record the motion of the video frames. They can be directly extracted from the compression code stream without computational cost and serve as a solid prior for optical flow estimation. Therefore, we propose an optical flow model, MVFlow, which uses motion vectors to improve the speed and accuracy of optical flow estimation for compressed videos. In detail, MVFlow includes a key Motion-Vector Converting Module, which ensures that the motion vectors can be transformed into the same domain of optical flow and then be utilized fully by the flow estimation module. Meanwhile, we construct four optical flow datasets for compressed videos containing frames and motion vectors in pairs. The experimental results demonstrate the superiority of our proposed MVFlow, which can reduce the AEPE by 1.09 compared to existing models or save 52% time to achieve similar accuracy to existing models.
• Abstract（参考訳）: 近年,光フロー推定問題に取り組むための深層学習に基づく手法が数多く提案され,有望な結果が得られた。 しかし、ほとんどのビデオが圧縮されているとは考え難いため、圧縮されたビデオストリームの事前計算情報を無視する。 圧縮情報の1つである動きベクトルは、ビデオフレームの動作を記録する。 これらは計算コストなしで圧縮コードストリームから直接抽出することができ、光フロー推定の固い先行として機能する。 そこで本研究では,映像の光学的フロー推定の高速化と精度向上のために,運動ベクトルを用いた光フローモデルMVFlowを提案する。 MVFlowには、モーションベクトル変換モジュール(Motion-Vector Converting Module)が含まれており、運動ベクトルを光フローの同じ領域に変換し、フロー推定モジュールによって完全に利用できるようにする。 一方,フレームと動きベクトルを対に含む圧縮ビデオに対して,光フローデータセットを4つ構築した。 実験の結果,既存のモデルと比較してAEPEを1.09削減したり,既存のモデルと同等の精度で52%の時間を節約できるMVFlowの優位性を示した。

関連論文リスト

• Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
  フローベースビデオフレーム補間(VFI)における動きの重要性 本稿では,動きモデリングVFIの新規かつ効果的なアプローチである一般インプリシット・モーション・モデリング(IMM)を紹介する。 我々のGIMMは、正確にモデル化された動きを供給することによって、既存のフローベースVFIワークと容易に統合できる。
  論文  参考訳（メタデータ） (2024-07-11T17:13:15Z)
• MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
  本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。 本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。 われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
  論文  参考訳（メタデータ） (2024-04-07T04:56:58Z)
• FlowVid: Taming Imperfect Optical Flows for Consistent Video-to-Video Synthesis [66.2611385251157]
  拡散モデルはイメージ・ツー・イメージ(I2I)合成を変換し、現在はビデオに浸透している。 本稿では,空間条件と時間的光フロー手がかりを併用した一貫したV2V合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-29T16:57:12Z)
• Offline and Online Optical Flow Enhancement for Deep Video Compression [14.445058335559994]
  モーション情報は、既存のディープビデオ圧縮ネットワークのほとんどで光学フローとして表現されている。 我々は現在最先端のディープビデオ圧縮方式であるDCVCの実験を行っている。
  論文  参考訳（メタデータ） (2023-07-11T07:52:06Z)
• Towards Anytime Optical Flow Estimation with Event Cameras [35.685866753715416]
  イベントカメラは、マイクロ秒間の対数輝度の変化に対応することができる。 イベントカメラを介して収集された既存のデータセットは、限られたフレームレートの光学フローグラウンド真理を提供する。 本研究では,高フレームレートのイベント光流を生成するEVent-based Anytime Flow推定ネットワークであるEVA-Flowを提案する。
  論文  参考訳（メタデータ） (2023-07-11T06:15:12Z)
• VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow Estimation [61.660040308290796]
  VideoFlowはビデオのための新しい光フロー推定フレームワークである。 まず、TRiフレーム光フロー(TROF)モジュールを提案し、3フレーム方式で中央フレームの双方向光フローを推定する。 反復流量推定精細化により、個々のTROFに融合した情報をMOPを介して全シーケンスに伝播することができる。
  論文  参考訳（メタデータ） (2023-03-15T03:14:30Z)
• Versatile Learned Video Compression [26.976302025254043]
  本稿では,可能な全ての予測モードをサポートするために,一つのモデルを用いた多目的学習ビデオ圧縮(VLVC)フレームワークを提案する。 具体的には、多目的圧縮を実現するために、まず複数の3次元運動ベクトル場を適用した動き補償モジュールを構築する。 フロー予測モジュールは, ボクセルフローの伝送コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2021-11-05T10:50:37Z)
• SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
  スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。 光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。 本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
  論文  参考訳（メタデータ） (2021-10-08T06:16:45Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。