論文の概要: IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation

• arxiv url: http://arxiv.org/abs/2205.14620v1
• Date: Sun, 29 May 2022 10:18:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 17:07:57.465382
• Title: IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation
• Title（参考訳）: IFRNet:効率的なフレーム補間のための中間機能強化ネットワーク
• Authors: Lingtong Kong, Boyuan Jiang, Donghao Luo, Wenqing Chu, Xiaoming Huang, Ying Tai, Chengjie Wang, Jie Yang
• Abstract要約: 我々は高速中間フレーム合成のための効率的なエンコーダデコーダベースネットワーク IFRNet を考案した。 様々なベンチマークの実験では、提案手法の優れた性能と高速な推論速度が示されている。
• 参考スコア（独自算出の注目度）: 44.04110765492441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prevailing video frame interpolation algorithms, that generate the intermediate frames from consecutive inputs, typically rely on complex model architectures with heavy parameters or large delay, hindering them from diverse real-time applications. In this work, we devise an efficient encoder-decoder based network, termed IFRNet, for fast intermediate frame synthesizing. It first extracts pyramid features from given inputs, and then refines the bilateral intermediate flow fields together with a powerful intermediate feature until generating the desired output. The gradually refined intermediate feature can not only facilitate intermediate flow estimation, but also compensate for contextual details, making IFRNet do not need additional synthesis or refinement module. To fully release its potential, we further propose a novel task-oriented optical flow distillation loss to focus on learning the useful teacher knowledge towards frame synthesizing. Meanwhile, a new geometry consistency regularization term is imposed on the gradually refined intermediate features to keep better structure layout. Experiments on various benchmarks demonstrate the excellent performance and fast inference speed of proposed approaches. Code is available at https://github.com/ltkong218/IFRNet.
• Abstract（参考訳）: 連続する入力から中間フレームを生成する一般的なビデオフレーム補間アルゴリズムは、通常、重いパラメータや大きな遅延を持つ複雑なモデルアーキテクチャに依存し、様々なリアルタイムアプリケーションからそれらを妨げている。 本研究では,高速な中間フレーム合成のための効率的なエンコーダデコーダネットワーク IFRNet を提案する。 まず、与えられた入力からピラミッドの特徴を抽出し、次に所望の出力を生成するまで、強力な中間特徴とともに両側中間流れ場を洗練する。 徐々に改良された中間機能は、中間フロー推定を容易にするだけでなく、文脈の詳細を補うことができるため、IFRNetは追加の合成や改良モジュールを必要としない。 さらに,その可能性を完全に解放するために,新しいタスク指向の光フロー蒸留損失を提案し,フレーム合成に向けた有用な教師の知識の学習に焦点をあてる。 一方、構造配置を改善するため、徐々に改良された中間機能に新しい幾何整合正則化項が課される。 様々なベンチマークにおける実験は、提案手法の優れた性能と高速な推論速度を示している。 コードはhttps://github.com/ltkong218/IFRNetで入手できる。

関連論文リスト

• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video Sequences [31.210626775505407]
  連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。 本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。 StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
  論文  参考訳（メタデータ） (2023-11-28T07:53:51Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• Progressive Motion Context Refine Network for Efficient Video Frame Interpolation [10.369068266836154]
  フローベースフレーム法は、まず、ターゲットフレームと入力フレームの間の光フローをモデル化し、次いで、ターゲットフレーム生成のための合成ネットワークを構築することで、大きな成功を収めた。 本稿では,動き場と画像コンテキストを協調的に予測し,高い効率性を実現するための新しいプログレッシブ・モーション・コンテキスト・リファイン・ネットワーク(PMCRNet)を提案する。 複数のベンチマーク実験により、提案手法は好意的かつ定量的な結果を得るだけでなく、モデルのサイズや実行時間を大幅に短縮することが示された。
  論文  参考訳（メタデータ） (2022-11-11T06:29:03Z)
• A Unified Pyramid Recurrent Network for Video Frame Interpolation [10.859715542859773]
  フレーム合成のための統一ピラミッドリカレントネットワークであるUPR-Netを提案する。 本研究では,我々の反復合成戦略により,大規模運動症例におけるフレームのロバスト性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-11-07T11:12:31Z)
• Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning [65.85319901760478]
  我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。 我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-07-27T17:36:23Z)
• Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
  ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。 入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。 本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T10:47:06Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。