論文の概要: Video Frame Interpolation with Densely Queried Bilateral Correlation

• arxiv url: http://arxiv.org/abs/2304.13596v1
• Date: Wed, 26 Apr 2023 14:45:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 13:50:55.883373
• Title: Video Frame Interpolation with Densely Queried Bilateral Correlation
• Title（参考訳）: 厳密な双方向相関によるビデオフレーム補間
• Authors: Chang Zhou, Jie Liu, Jie Tang and Gangshan Wu
• Abstract要約: Video Frame Interpolation (VFI) は、既存のフレーム間で既存の中間フレームを合成することを目的としている。 フローベースVFIアルゴリズムは、中間運動場を推定し、既存のフレームをワープする。 本稿では,DQBC(Densely Queried Bilateral correlation, DQBC)を提案する。
• 参考スコア（独自算出の注目度）: 52.823751291070906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Frame Interpolation (VFI) aims to synthesize non-existent intermediate frames between existent frames. Flow-based VFI algorithms estimate intermediate motion fields to warp the existent frames. Real-world motions' complexity and the reference frame's absence make motion estimation challenging. Many state-of-the-art approaches explicitly model the correlations between two neighboring frames for more accurate motion estimation. In common approaches, the receptive field of correlation modeling at higher resolution depends on the motion fields estimated beforehand. Such receptive field dependency makes common motion estimation approaches poor at coping with small and fast-moving objects. To better model correlations and to produce more accurate motion fields, we propose the Densely Queried Bilateral Correlation (DQBC) that gets rid of the receptive field dependency problem and thus is more friendly to small and fast-moving objects. The motion fields generated with the help of DQBC are further refined and up-sampled with context features. After the motion fields are fixed, a CNN-based SynthNet synthesizes the final interpolated frame. Experiments show that our approach enjoys higher accuracy and less inference time than the state-of-the-art. Source code is available at https://github.com/kinoud/DQBC.
• Abstract（参考訳）: video frame interpolation (vfi) は既存のフレーム間で存在しない中間フレームを合成することを目的としている。 フローベースVFIアルゴリズムは、中間運動場を推定し、既存のフレームをワープする。 実世界の動きの複雑さと参照フレームの欠如は、動き推定を困難にする。 多くの最先端のアプローチは、より正確な動き推定のために隣接する2つのフレーム間の相関を明示的にモデル化する。 一般的な手法では、高分解能での相関モデリングの受容場は事前に推定された運動場に依存する。 このような受容的場依存性は、小さくて高速に動くオブジェクトを扱うのに共通の動き推定アプローチを貧弱にする。 相関をモデル化し,より正確な運動場を生成するために,受動的場依存性問題を解消し,より小型で高速な物体に親しみやすいDQBC(Densely Queried Bilateral correlation)を提案する。 DQBCの助けを借りて生成された運動場はさらに洗練され、コンテキスト特徴によってアップサンプリングされる。 運動場が固定された後、CNNベースのSynthNetは最終補間フレームを合成する。 実験の結果,我々のアプローチは最先端の手法よりも精度が高く,推論時間も少ないことがわかった。 ソースコードはhttps://github.com/kinoud/dqbc。

関連論文リスト

• Motion-aware Latent Diffusion Models for Video Frame Interpolation [51.78737270917301]
  隣接するフレーム間の動き推定は、動きのあいまいさを避ける上で重要な役割を担っている。 我々は、新しい拡散フレームワーク、動き認識潜在拡散モデル(MADiff)を提案する。 提案手法は,既存手法を著しく上回る最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T05:09:56Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Enhanced Bi-directional Motion Estimation for Video Frame Interpolation [0.05541644538483946]
  本稿では,動画フレーム推定のための新しいアルゴリズムを提案する。 提案手法は,広い範囲の動画フレームベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-17T06:08:43Z)
• JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation [47.123769305867775]
  ビデオフレーム(VFI)は、双方向の歴史的参照から学習可能な動きを歪曲することでフレームを生成することを目的としている。 我々は、フレーム間の複雑な動きをモデル化するために、VFIをJNMR(Joint Non-linear Motion Regression)戦略として再構成する。 その結果, 関節運動の退行性は, 最先端の方法と比較して有意に向上した。
  論文  参考訳（メタデータ） (2022-06-09T02:47:29Z)
• Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
  ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。 入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。 本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T10:47:06Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。