論文の概要: A Unified Pyramid Recurrent Network for Video Frame Interpolation

• arxiv url: http://arxiv.org/abs/2211.03456v2
• Date: Thu, 23 Mar 2023 04:14:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 17:58:58.533499
• Title: A Unified Pyramid Recurrent Network for Video Frame Interpolation
• Title（参考訳）: ビデオフレーム補間のための統一ピラミッドリカレントネットワーク
• Authors: Xin Jin, Longhai Wu, Jie Chen, Youxin Chen, Jayoon Koo, Cheul-hee Hahm
• Abstract要約: フレーム合成のための統一ピラミッドリカレントネットワークであるUPR-Netを提案する。 本研究では,我々の反復合成戦略により,大規模運動症例におけるフレームのロバスト性を大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 10.859715542859773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flow-guided synthesis provides a common framework for frame interpolation, where optical flow is estimated to guide the synthesis of intermediate frames between consecutive inputs. In this paper, we present UPR-Net, a novel Unified Pyramid Recurrent Network for frame interpolation. Cast in a flexible pyramid framework, UPR-Net exploits lightweight recurrent modules for both bi-directional flow estimation and intermediate frame synthesis. At each pyramid level, it leverages estimated bi-directional flow to generate forward-warped representations for frame synthesis; across pyramid levels, it enables iterative refinement for both optical flow and intermediate frame. In particular, we show that our iterative synthesis strategy can significantly improve the robustness of frame interpolation on large motion cases. Despite being extremely lightweight (1.7M parameters), our base version of UPR-Net achieves excellent performance on a large range of benchmarks. Code and trained models of our UPR-Net series are available at: https://github.com/srcn-ivl/UPR-Net.
• Abstract（参考訳）: フロー誘導合成は、連続する入力間の中間フレームの合成を導くために光フローを推定するフレーム補間のための共通のフレームワークを提供する。 本稿では,フレーム補間のための新しい統一ピラミッドリカレントネットワークupr-netを提案する。 フレキシブルなピラミッドフレームワークでキャストされたUPR-Netは、双方向フロー推定と中間フレーム合成の両方に軽量リカレントモジュールを利用する。 各ピラミッドレベルでは、推定された双方向の流れを利用してフレーム合成のための前方のウォープ表現を生成し、ピラミッドレベルでは、光学フローと中間フレームの両方を反復的に洗練することができる。 特に,我々の反復的合成戦略は,大きな動きの場合にフレーム補間のロバスト性を大幅に改善できることを示す。 極めて軽量(1.7mパラメータ)なupr-netのベースバージョンは、幅広いベンチマークで優れたパフォーマンスを実現しています。 UPR-Netシリーズのコードとトレーニングされたモデルは、以下の通りである。

関連論文リスト

• Joint Reference Frame Synthesis and Post Filter Enhancement for Versatile Video Coding [53.703894799335735]
  本稿では, Versatile Video Coding (VVC) のためのジョイントリファレンスフレーム合成 (RFS) と後処理フィルタ拡張 (PFE) を提案する。 RFS と PFE は Space-Time Enhancement Network (STENet) を使用しており、2つの入力フレームをアーティファクトで受信し、2つの拡張フレームを圧縮されたアーティファクトと中間合成フレームで生成する。 推論の複雑さを低減するために,STENetの単一実行によって達成されるFSとPFE(JISE)の合同推論を提案する。
  論文  参考訳（メタデータ） (2024-04-28T03:11:44Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation [80.33846577924363]
  ビデオフレームギスブのための新しいネットワークアーキテクチャであるAMT(All-Pairs Multi-Field Transforms)を提案する。 まず、すべての画素に対して双方向のボリュームを構築し、予測された両側フローを用いて相関関係を検索する。 第2に、入力フレーム上で逆向きのワープを行うために、一対の更新された粗い流れから細粒度の流れ場の複数のグループを導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:18:47Z)
• Progressive Motion Context Refine Network for Efficient Video Frame Interpolation [10.369068266836154]
  フローベースフレーム法は、まず、ターゲットフレームと入力フレームの間の光フローをモデル化し、次いで、ターゲットフレーム生成のための合成ネットワークを構築することで、大きな成功を収めた。 本稿では,動き場と画像コンテキストを協調的に予測し,高い効率性を実現するための新しいプログレッシブ・モーション・コンテキスト・リファイン・ネットワーク(PMCRNet)を提案する。 複数のベンチマーク実験により、提案手法は好意的かつ定量的な結果を得るだけでなく、モデルのサイズや実行時間を大幅に短縮することが示された。
  論文  参考訳（メタデータ） (2022-11-11T06:29:03Z)
• Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual Meta-Learning [65.85319901760478]
  我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。 我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-07-27T17:36:23Z)
• Enhanced Bi-directional Motion Estimation for Video Frame Interpolation [0.05541644538483946]
  本稿では,動画フレーム推定のための新しいアルゴリズムを提案する。 提案手法は,広い範囲の動画フレームベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-17T06:08:43Z)
• IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation [44.04110765492441]
  我々は高速中間フレーム合成のための効率的なエンコーダデコーダベースネットワーク IFRNet を考案した。 様々なベンチマークの実験では、提案手法の優れた性能と高速な推論速度が示されている。
  論文  参考訳（メタデータ） (2022-05-29T10:18:18Z)
• Asymmetric Bilateral Motion Estimation for Video Frame Interpolation [50.44508853885882]
  非対称な左右運動推定(ABME)に基づく新しいビデオフレームアルゴリズムを提案する。 我々は左右対称運動場を予測してアンカーフレームを補間する。 アンカーフレームから入力フレームへの非対称な左右運動場を推定する。 第三に、非対称場を用いて入力フレームを後方にワープし、中間フレームを再構築する。
  論文  参考訳（メタデータ） (2021-08-15T21:11:35Z)
• EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation [101.75999290175412]
  補間フレーム内のエッジを保存することにより,画像のぼかしを低減し,オブジェクトの明確な形状を得る。 提案するエッジアウェアネットワーク(eanet)は、エッジ情報をフレームタスクに統合する。 フローマップの推定において,フレームエッジを強調する3つのエッジアウェア機構が開発されている。
  論文  参考訳（メタデータ） (2021-05-17T08:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。