論文の概要: Progressive Motion Context Refine Network for Efficient Video Frame Interpolation

• arxiv url: http://arxiv.org/abs/2211.06024v1
• Date: Fri, 11 Nov 2022 06:29:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 16:33:28.930838
• Title: Progressive Motion Context Refine Network for Efficient Video Frame Interpolation
• Title（参考訳）: 効率的な映像フレーム補間のためのプログレッシブモーションコンテキスト洗練ネットワーク
• Authors: Lingtong Kong, Jinfeng Liu, Jie Yang
• Abstract要約: フローベースフレーム法は、まず、ターゲットフレームと入力フレームの間の光フローをモデル化し、次いで、ターゲットフレーム生成のための合成ネットワークを構築することで、大きな成功を収めた。 本稿では,動き場と画像コンテキストを協調的に予測し,高い効率性を実現するための新しいプログレッシブ・モーション・コンテキスト・リファイン・ネットワーク(PMCRNet)を提案する。 複数のベンチマーク実験により、提案手法は好意的かつ定量的な結果を得るだけでなく、モデルのサイズや実行時間を大幅に短縮することが示された。
• 参考スコア（独自算出の注目度）: 10.369068266836154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, flow-based frame interpolation methods have achieved great success by first modeling optical flow between target and input frames, and then building synthesis network for target frame generation. However, above cascaded architecture can lead to large model size and inference delay, hindering them from mobile and real-time applications. To solve this problem, we propose a novel Progressive Motion Context Refine Network (PMCRNet) to predict motion fields and image context jointly for higher efficiency. Different from others that directly synthesize target frame from deep feature, we explore to simplify frame interpolation task by borrowing existing texture from adjacent input frames, which means that decoder in each pyramid level of our PMCRNet only needs to update easier intermediate optical flow, occlusion merge mask and image residual. Moreover, we introduce a new annealed multi-scale reconstruction loss to better guide the learning process of this efficient PMCRNet. Experiments on multiple benchmarks show that proposed approaches not only achieve favorable quantitative and qualitative results but also reduces current model size and running time significantly.
• Abstract（参考訳）: 近年、フローベースのフレーム補間法は、まずターゲットフレームと入力フレームの間の光フローをモデル化し、次にターゲットフレーム生成のための合成ネットワークを構築することで大きな成功を収めている。 しかし、上述のアーキテクチャは、大きなモデルサイズと推論遅延をもたらし、モバイルおよびリアルタイムアプリケーションからそれらを妨げる可能性がある。 そこで本研究では,より高効率に協調して動き場と画像コンテキストを予測できる新しいプログレッシブモーションコンテキスト改善ネットワーク(pmcrnet)を提案する。 対象フレームを深い特徴から直接合成する他の方法とは異なり,既存のテクスチャを隣接する入力フレームから借用することにより,フレーム補間作業を簡素化する。 さらに,この効率的なPMCRNetの学習プロセスの指針として,新しいアニール型マルチスケール再構築損失を導入する。 複数のベンチマーク実験により,提案手法は定量的かつ定性的な結果を得るだけでなく,現在のモデルサイズや実行時間を著しく短縮することが示された。

関連論文リスト

• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video Sequences [31.210626775505407]
  連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。 本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。 StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
  論文  参考訳（メタデータ） (2023-11-28T07:53:51Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• Enhanced Bi-directional Motion Estimation for Video Frame Interpolation [0.05541644538483946]
  本稿では,動画フレーム推定のための新しいアルゴリズムを提案する。 提案手法は,広い範囲の動画フレームベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-17T06:08:43Z)
• IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation [44.04110765492441]
  我々は高速中間フレーム合成のための効率的なエンコーダデコーダベースネットワーク IFRNet を考案した。 様々なベンチマークの実験では、提案手法の優れた性能と高速な推論速度が示されている。
  論文  参考訳（メタデータ） (2022-05-29T10:18:18Z)
• Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
  ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。 入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。 本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T10:47:06Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。