論文の概要: Long-term Video Frame Interpolation via Feature Propagation

• arxiv url: http://arxiv.org/abs/2203.15427v1
• Date: Tue, 29 Mar 2022 10:47:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 23:34:14.918426
• Title: Long-term Video Frame Interpolation via Feature Propagation
• Title（参考訳）: 特徴伝搬による長期ビデオフレーム補間
• Authors: Dawit Mureja Argaw and In So Kweon
• Abstract要約: ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。 入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。 本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
• 参考スコア（独自算出の注目度）: 95.18170372022703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video frame interpolation (VFI) works generally predict intermediate frame(s) by first estimating the motion between inputs and then warping the inputs to the target time with the estimated motion. This approach, however, is not optimal when the temporal distance between the input sequence increases as existing motion estimation modules cannot effectively handle large motions. Hence, VFI works perform well for small frame gaps and perform poorly as the frame gap increases. In this work, we propose a novel framework to address this problem. We argue that when there is a large gap between inputs, instead of estimating imprecise motion that will eventually lead to inaccurate interpolation, we can safely propagate from one side of the input up to a reliable time frame using the other input as a reference. Then, the rest of the intermediate frames can be interpolated using standard approaches as the temporal gap is now narrowed. To this end, we propose a propagation network (PNet) by extending the classic feature-level forecasting with a novel motion-to-feature approach. To be thorough, we adopt a simple interpolation model along with PNet as our full model and design a simple procedure to train the full model in an end-to-end manner. Experimental results on several benchmark datasets confirm the effectiveness of our method for long-term VFI compared to state-of-the-art approaches.
• Abstract（参考訳）: ビデオフレーム補間(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間に出力することで、中間フレーム(s)を予測する。 しかし、既存の動き推定モジュールが大きな動きを効果的に扱えないため、入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。 したがって、VFI作業は小さなフレームギャップに対して良好に動作し、フレームギャップが増加するにつれて性能が低下する。 本稿では,この問題に対処するための新しい枠組みを提案する。 入力の間に大きなギャップがある場合、最終的に不正確な補間につながる不正確な動きを見積もる代わりに、入力の一方からもう一方の入力を基準として信頼できる時間枠まで安全に伝播することができると論じる。 そして、時間的ギャップが狭まるにつれて、他の中間フレームを標準アプローチで補間することができる。 そこで本研究では,従来の特徴量予測を新しい動きから特徴へのアプローチで拡張し,伝播ネットワーク(pnet)を提案する。 徹底的に言うと、私たちはPNetとともに単純な補間モデルを採用し、エンドツーエンドでモデル全体をトレーニングするための簡単な手順を設計します。 いくつかのベンチマークデータセットによる実験結果から,本手法の長期VFIに対する有効性が確認された。

関連論文リスト

• Motion-aware Latent Diffusion Models for Video Frame Interpolation [51.78737270917301]
  隣接するフレーム間の動き推定は、動きのあいまいさを避ける上で重要な役割を担っている。 我々は、新しい拡散フレームワーク、動き認識潜在拡散モデル(MADiff)を提案する。 提案手法は,既存手法を著しく上回る最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T05:09:56Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• A Multi-In-Single-Out Network for Video Frame Interpolation without Optical Flow [14.877766449009119]
  深層学習に基づくビデオフレーム (VFI) 法は、2つの入力フレーム間の動きを推定することに集中している。 動作ベクトル推定に依存しないマルチインシングルアウト(MISO)に基づくVFI法を提案する。 我々はMISO-VFIがビデオフレーム内のベクトル時間をよりよくキャプチャできる新しい動き知覚損失を導入した。
  論文  参考訳（メタデータ） (2023-11-20T08:29:55Z)
• Video Frame Interpolation with Densely Queried Bilateral Correlation [52.823751291070906]
  Video Frame Interpolation (VFI) は、既存のフレーム間で既存の中間フレームを合成することを目的としている。 フローベースVFIアルゴリズムは、中間運動場を推定し、既存のフレームをワープする。 本稿では,DQBC(Densely Queried Bilateral correlation, DQBC)を提案する。
  論文  参考訳（メタデータ） (2023-04-26T14:45:09Z)
• Enhanced Bi-directional Motion Estimation for Video Frame Interpolation [0.05541644538483946]
  本稿では,動画フレーム推定のための新しいアルゴリズムを提案する。 提案手法は,広い範囲の動画フレームベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-17T06:08:43Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。