論文の概要: Real-Time Intermediate Flow Estimation for Video Frame Interpolation

• arxiv url: http://arxiv.org/abs/2011.06294v12
• Date: Fri, 12 Nov 2021 13:58:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 06:40:31.385422
• Title: Real-Time Intermediate Flow Estimation for Video Frame Interpolation
• Title（参考訳）: ビデオフレーム補間のためのリアルタイム中間流れ推定
• Authors: Zhewei Huang, Tianyuan Zhang, Wen Heng, Boxin Shi, Shuchang Zhou
• Abstract要約: RIFEはVFIのリアルタイム中間フロー推定法である。 IFNetを安定的に訓練するために、特権蒸留方式が設計されている。 RIFEはいくつかの公開ベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 50.12253023531497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time video frame interpolation (VFI) is very useful in video processing, media players, and display devices. We propose RIFE, a Real-time Intermediate Flow Estimation algorithm for VFI. To realize a high-quality flow-based VFI method, RIFE uses a neural network named IFNet that can estimate the intermediate flows end-to-end with much faster speed. A privileged distillation scheme is designed for stable IFNet training and improve the overall performance. RIFE does not rely on pre-trained optical flow models and can support arbitrary-timestep frame interpolation with the temporal encoding input. Experiments demonstrate that RIFE achieves state-of-the-art performance on several public benchmarks. Compared with the popular SuperSlomo and DAIN methods, RIFE is 4--27 times faster and produces better results. Furthermore, RIFE can be extended to wider applications thanks to temporal encoding. The code is available at https://github.com/megvii-research/ECCV2022-RIFE.
• Abstract（参考訳）: リアルタイムビデオフレーム補間(VFI)は、ビデオ処理、メディアプレーヤー、ディスプレイデバイスにおいて非常に有用である。 VFIのためのリアルタイム中間フロー推定アルゴリズムであるRIFEを提案する。 高品質なフローベースVFI手法を実現するために、RIFEはIFNetと呼ばれるニューラルネットワークを使用して、中間フローをエンドツーエンドに、はるかに高速に推定することができる。 特権蒸留スキームは、安定したifnetトレーニングと全体的な性能を改善するために設計されている。 RIFEは、事前訓練された光フローモデルに依存しておらず、テンポラリエンコーディング入力と任意の時間ステップフレーム補間をサポートすることができる。 実験により、RIFEはいくつかの公開ベンチマークで最先端のパフォーマンスを達成することが示された。 一般的なSuperSlomoやDAINと比較して、RIFEは4～27倍高速で、より良い結果が得られる。 さらに、RIFEはテンポラリエンコーディングのおかげで、より広いアプリケーションに拡張できる。 コードはhttps://github.com/megvii-research/ECCV2022-RIFEで公開されている。

関連論文リスト

• MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
  本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。 本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。 われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
  論文  参考訳（メタデータ） (2024-04-07T04:56:58Z)
• StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video Sequences [31.210626775505407]
  連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。 本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。 StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
  論文  参考訳（メタデータ） (2023-11-28T07:53:51Z)
• Frame Flexible Network [52.623337134518835]
  既存のビデオ認識アルゴリズムは、常に異なるフレーム番号の入力に対して異なるトレーニングパイプラインを実行する。 トレーニングに使われていない他のフレームを使用してモデルを評価した場合、パフォーマンスが大幅に低下するのを観察する。 本稿では,フレームフレキシブルネットワーク(FFN)と呼ばれる汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-26T20:51:35Z)
• IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation [44.04110765492441]
  我々は高速中間フレーム合成のための効率的なエンコーダデコーダベースネットワーク IFRNet を考案した。 様々なベンチマークの実験では、提案手法の優れた性能と高速な推論速度が示されている。
  論文  参考訳（メタデータ） (2022-05-29T10:18:18Z)
• Spatio-Temporal Multi-Flow Network for Video Frame Interpolation [3.6053802212032995]
  ビデオフレーム(VFI)は、コンピュータビジョン、ポストプロダクション、ビデオエンコーディングなど、非常に活発な研究トピックである。 本稿では,時空間マルチフローアーキテクチャに基づく新しい深層学習型VFI手法ST-MFNetを提案する。
  論文  参考訳（メタデータ） (2021-11-30T15:18:46Z)
• DeMFI: Deep Joint Deblurring and Multi-Frame Interpolation with Flow-Guided Attentive Correlation and Recursive Boosting [50.17500790309477]
  DeMFI-Netは、共同でデブロアリングとマルチフレームのフレームワークである。 低フレームレートのぼやけたビデオを高フレームレートでシャープなビデオに変換する。 多様なデータセットに対して、最先端(SOTA)のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-19T00:00:15Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• FastRIFE: Optimization of Real-Time Intermediate Flow Estimation for Video Frame Interpolation [0.0]
  本稿では,RIFE(Real-Time Intermediate Flow Estimation)モデルの高速化を目的としたFastRIFEアルゴリズムを提案する。 すべてのソースコードはhttps://gitlab.com/malwinq/interpolation-of-images-for-slow-motion-videosで公開されている。
  論文  参考訳（メタデータ） (2021-05-27T22:31:40Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。