論文の概要: All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling
- arxiv url: http://arxiv.org/abs/2007.11762v2
- Date: Sat, 9 Jan 2021 03:50:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 12:29:52.767030
- Title: All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling
- Title(参考訳): 時間適応型マルチフレーム補間と高度な運動モデル
- Authors: Zhixiang Chi, Rasoul Mohammadi Nasiri, Zheng Liu, Juwei Lu, Jin Tang,
Konstantinos N Plataniotis
- Abstract要約: 最先端の手法は、一度に1つのフレームを補間する反復解である。
この研究は、真のマルチフレーム補間子を導入している。
時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
- 参考スコア(独自算出の注目度): 52.425236515695914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in high refresh rate displays as well as the increased
interest in high rate of slow motion and frame up-conversion fuel the demand
for efficient and cost-effective multi-frame video interpolation solutions. To
that regard, inserting multiple frames between consecutive video frames are of
paramount importance for the consumer electronics industry. State-of-the-art
methods are iterative solutions interpolating one frame at the time. They
introduce temporal inconsistencies and clearly noticeable visual artifacts.
Departing from the state-of-the-art, this work introduces a true multi-frame
interpolator. It utilizes a pyramidal style network in the temporal domain to
complete the multi-frame interpolation task in one-shot. A novel flow
estimation procedure using a relaxed loss function, and an advanced,
cubic-based, motion model is also used to further boost interpolation accuracy
when complex motion segments are encountered. Results on the Adobe240 dataset
show that the proposed method generates visually pleasing, temporally
consistent frames, outperforms the current best off-the-shelf method by 1.57db
in PSNR with 8 times smaller model and 7.7 times faster. The proposed method
can be easily extended to interpolate a large number of new frames while
remaining efficient because of the one-shot mechanism.
- Abstract(参考訳): 近年の高リフレッシュレートディスプレイの進歩と高速度スローモーションやフレームアップコンバージョンへの関心の高まりにより、高効率で費用対効果の高いマルチフレームビデオ補間ソリューションの需要が高まった。
そのために、連続するビデオフレーム間で複数のフレームを挿入することが、家電産業にとって最重要課題である。
最先端の手法は、一度に一つのフレームを補間する反復解である。
時間的不整合と明らかな視覚的アーティファクトを導入している。
最先端から脱却したこの作品は、真のマルチフレーム補間器を導入している。
時間領域内のピラミッド型ネットワークを使用して、ワンショットでマルチフレーム補間タスクを完了する。
また, 複雑な動作セグメントに遭遇した場合の補間精度を高めるために, 緩和損失関数と高度立方体モデルを用いた新しい流れ推定手法を用いた。
Adobe240データセットの結果は、提案手法が視覚的に快適で時間的に一貫したフレームを生成し、PSNRにおいて8倍のモデルと7.7倍の速度で現在の最高のオフ・ザ・シェルフ法を1.57db上回ることを示した。
提案手法は, 多数の新しいフレームを補間するために容易に拡張できるが, ワンショット機構により効率がよい。
関連論文リスト
- Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳(メタデータ) (2024-02-05T11:00:14Z) - Enhanced Bi-directional Motion Estimation for Video Frame Interpolation [0.05541644538483946]
本稿では,動画フレーム推定のための新しいアルゴリズムを提案する。
提案手法は,広い範囲の動画フレームベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2022-06-17T06:08:43Z) - Many-to-many Splatting for Efficient Video Frame Interpolation [80.10804399840927]
モーションベースのビデオフレームは、入力から所望の瞬間までの画素をワープするための光学フローに依存している。
many-to-Many (M2M) スプレイティングフレームワークはフレームを効率的に補間する。
M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。
論文 参考訳(メタデータ) (2022-04-07T15:29:42Z) - Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。
入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。
本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
論文 参考訳(メタデータ) (2022-03-29T10:47:06Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳(メタデータ) (2020-12-15T18:59:30Z) - ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and
Interpolation [38.52446103418748]
シャープな高フレームレート映像を合成する新しいアーキテクチャであるAdaptive Latent Attention Network (ALANET)を導入する。
我々は,各フレームに最適化された表現を生成するために,潜在空間内の連続するフレーム間で自己アテンションと相互アテンションのモジュールを組み合わせる。
本手法は, より困難な問題に取り組みながら, 様々な最先端手法に対して良好に機能する。
論文 参考訳(メタデータ) (2020-08-31T21:11:53Z) - Blurry Video Frame Interpolation [57.77512131536132]
本稿では,ぼやけた動きとアップコンバートのフレームレートを同時に低減する,ぼやけたビデオフレーム手法を提案する。
具体的には、透明な中間フレームを循環的に合成するピラミッドモジュールを開発する。
我々の手法は最先端の手法に対して好適に機能する。
論文 参考訳(メタデータ) (2020-02-27T17:00:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。