論文の概要: A Unified Pyramid Recurrent Network for Video Frame Interpolation
- arxiv url: http://arxiv.org/abs/2211.03456v1
- Date: Mon, 7 Nov 2022 11:12:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 17:41:13.763693
- Title: A Unified Pyramid Recurrent Network for Video Frame Interpolation
- Title（参考訳）: ビデオフレーム補間のための統一ピラミッドリカレントネットワーク
- Authors: Xin Jin, Longhai Wu, Jie Chen, Youxin Chen, Jayoon Koo, Cheul-hee Hahm
- Abstract要約: UPR-Netは、フレーム推定のための新しい統一ピラミッドリカレントネットワークである。
双方向フローと中間フレーム合成の両方に軽量なリカレントモジュールを利用する。
非常に軽量な(1.7Mパラメータ)にもかかわらず、UPR-Netは幅広いベンチマークで優れたパフォーマンスを達成している。
- 参考スコア（独自算出の注目度）: 10.859715542859773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Flow-guide synthesis provides a common framework for frame interpolation,
where optical flow is typically estimated by a pyramid network, and then
leveraged to guide a synthesis network to generate intermediate frames between
input frames. In this paper, we present UPR-Net, a novel Unified Pyramid
Recurrent Network for frame interpolation. Cast in a flexible pyramid
framework, UPR-Net exploits lightweight recurrent modules for both
bi-directional flow estimation and intermediate frame synthesis. At each
pyramid level, it leverages estimated bi-directional flow to generate
forward-warped representations for frame synthesis; across pyramid levels, it
enables iterative refinement for both optical flow and intermediate frame. In
particular, we show that our iterative synthesis can significantly improve the
robustness of frame interpolation on large motion cases. Despite being
extremely lightweight (1.7M parameters), UPR-Net achieves excellent performance
on a large range of benchmarks. Code will be available soon.
- Abstract（参考訳）: フローガイド合成は、一般的にピラミッドネットワークによって光学フローが推定されるフレーム補間のための共通のフレームワークを提供し、合成ネットワークを導いて入力フレーム間の中間フレームを生成する。
本稿では,フレーム補間のための新しい統一ピラミッドリカレントネットワークupr-netを提案する。
フレキシブルなピラミッドフレームワークでキャストされたUPR-Netは、双方向フロー推定と中間フレーム合成の両方に軽量リカレントモジュールを利用する。
各ピラミッドレベルでは、推定された双方向の流れを利用してフレーム合成のための前方のウォープ表現を生成し、ピラミッドレベルでは、光学フローと中間フレームの両方を反復的に洗練することができる。
特に,我々の反復合成は,大きな動きの場合にフレーム補間のロバスト性を大幅に改善できることを示す。
非常に軽量な(1.7Mパラメータ)にもかかわらず、UPR-Netは幅広いベンチマークで優れた性能を発揮する。
コードはもうすぐ入手できる。
関連論文リスト
- Joint Reference Frame Synthesis and Post Filter Enhancement for Versatile Video Coding [53.703894799335735]
本稿では, Versatile Video Coding (VVC) のためのジョイントリファレンスフレーム合成 (RFS) と後処理フィルタ拡張 (PFE) を提案する。
RFS と PFE は Space-Time Enhancement Network (STENet) を使用しており、2つの入力フレームをアーティファクトで受信し、2つの拡張フレームを圧縮されたアーティファクトと中間合成フレームで生成する。
推論の複雑さを低減するために,STENetの単一実行によって達成されるFSとPFE(JISE)の合同推論を提案する。
論文 参考訳（メタデータ） (2024-04-28T03:11:44Z) - Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。
既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。
WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
論文 参考訳（メタデータ） (2023-09-07T06:41:15Z) - AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation [80.33846577924363]
ビデオフレームギスブのための新しいネットワークアーキテクチャであるAMT(All-Pairs Multi-Field Transforms)を提案する。
まず、すべての画素に対して双方向のボリュームを構築し、予測された両側フローを用いて相関関係を検索する。
第2に、入力フレーム上で逆向きのワープを行うために、一対の更新された粗い流れから細粒度の流れ場の複数のグループを導出する。
論文 参考訳（メタデータ） (2023-04-19T16:18:47Z) - Progressive Motion Context Refine Network for Efficient Video Frame
Interpolation [10.369068266836154]
フローベースフレーム法は、まず、ターゲットフレームと入力フレームの間の光フローをモデル化し、次いで、ターゲットフレーム生成のための合成ネットワークを構築することで、大きな成功を収めた。
本稿では,動き場と画像コンテキストを協調的に予測し,高い効率性を実現するための新しいプログレッシブ・モーション・コンテキスト・リファイン・ネットワーク(PMCRNet)を提案する。
複数のベンチマーク実験により、提案手法は好意的かつ定量的な結果を得るだけでなく、モデルのサイズや実行時間を大幅に短縮することが示された。
論文 参考訳（メタデータ） (2022-11-11T06:29:03Z) - Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual
Meta-Learning [65.85319901760478]
我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。
我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
論文 参考訳（メタデータ） (2022-07-27T17:36:23Z) - Enhanced Bi-directional Motion Estimation for Video Frame Interpolation [0.05541644538483946]
本稿では,動画フレーム推定のための新しいアルゴリズムを提案する。
提案手法は,広い範囲の動画フレームベンチマークにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2022-06-17T06:08:43Z) - IFRNet: Intermediate Feature Refine Network for Efficient Frame
Interpolation [44.04110765492441]
我々は高速中間フレーム合成のための効率的なエンコーダデコーダベースネットワーク IFRNet を考案した。
様々なベンチマークの実験では、提案手法の優れた性能と高速な推論速度が示されている。
論文 参考訳（メタデータ） (2022-05-29T10:18:18Z) - Asymmetric Bilateral Motion Estimation for Video Frame Interpolation [50.44508853885882]
非対称な左右運動推定(ABME)に基づく新しいビデオフレームアルゴリズムを提案する。
我々は左右対称運動場を予測してアンカーフレームを補間する。
アンカーフレームから入力フレームへの非対称な左右運動場を推定する。
第三に、非対称場を用いて入力フレームを後方にワープし、中間フレームを再構築する。
論文 参考訳（メタデータ） (2021-08-15T21:11:35Z) - EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation [101.75999290175412]
補間フレーム内のエッジを保存することにより,画像のぼかしを低減し,オブジェクトの明確な形状を得る。
提案するエッジアウェアネットワーク(eanet)は、エッジ情報をフレームタスクに統合する。
フローマップの推定において,フレームエッジを強調する3つのエッジアウェア機構が開発されている。
論文 参考訳（メタデータ） (2021-05-17T08:44:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。