論文の概要: Motion-Aware Video Frame Interpolation
- arxiv url: http://arxiv.org/abs/2402.02892v1
- Date: Mon, 5 Feb 2024 11:00:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 16:48:09.240065
- Title: Motion-Aware Video Frame Interpolation
- Title(参考訳): モーションアウェアビデオフレーム補間
- Authors: Pengfei Han, Fuhua Zhang, Bin Zhao, and Xuelong Li
- Abstract要約: 我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
- 参考スコア(独自算出の注目度): 49.49668436390514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video frame interpolation methodologies endeavor to create novel frames
betwixt extant ones, with the intent of augmenting the video's frame frequency.
However, current methods are prone to image blurring and spurious artifacts in
challenging scenarios involving occlusions and discontinuous motion. Moreover,
they typically rely on optical flow estimation, which adds complexity to
modeling and computational costs. To address these issues, we introduce a
Motion-Aware Video Frame Interpolation (MA-VFI) network, which directly
estimates intermediate optical flow from consecutive frames by introducing a
novel hierarchical pyramid module. It not only extracts global semantic
relationships and spatial details from input frames with different receptive
fields, enabling the model to capture intricate motion patterns, but also
effectively reduces the required computational cost and complexity.
Subsequently, a cross-scale motion structure is presented to estimate and
refine intermediate flow maps by the extracted features. This approach
facilitates the interplay between input frame features and flow maps during the
frame interpolation process and markedly heightens the precision of the
intervening flow delineations. Finally, a discerningly fashioned loss centered
around an intermediate flow is meticulously contrived, serving as a deft rudder
to skillfully guide the prognostication of said intermediate flow, thereby
substantially refining the precision of the intervening flow mappings.
Experiments illustrate that MA-VFI surpasses several representative VFI methods
across various datasets, and can enhance efficiency while maintaining
commendable efficacy.
- Abstract(参考訳): ビデオフレーム補間手法は、ビデオのフレーム周波数を増大させることを目的として、既存のフレームに賭ける新しいフレームを作成する試みである。
しかし、現在の手法は、閉塞や不連続運動を含む挑戦的なシナリオにおいて、画像のぼやけや刺激的なアーティファクトになりがちである。
さらに、それらは通常、モデリングと計算コストに複雑さをもたらす光学フロー推定に依存する。
これらの問題に対処するために,新しい階層型ピラミッドモジュールを導入することで,連続フレームからの中間光流を直接推定するma-vfi(motion-aware video frame interpolation)ネットワークを提案する。
異なる受容場を持つ入力フレームからグローバルな意味関係と空間的詳細を抽出し、複雑な動きパターンを捉えるだけでなく、必要な計算コストと複雑さを効果的に削減する。
次いで,抽出した特徴量から中間流マップを推定・洗練するために,クロススケールな運動構造を示す。
この手法は,フレーム補間過程における入力フレーム特徴とフローマップとの相互作用を容易にし,介在する流れのデラインの精度を著しく高める。
最後に、中間流を中心に配向された凹凸状の損失を慎重に抽出し、その中間流の予後を巧みにガイドするデフト舵として機能し、介在流図の精度を大幅に改善する。
実験により、MA-VFIは様々なデータセットにまたがる代表的VFI手法を超越し、有効性を保ちながら効率を向上させることができることが示された。
関連論文リスト
- A Multi-In-Single-Out Network for Video Frame Interpolation without
Optical Flow [14.877766449009119]
深層学習に基づくビデオフレーム (VFI) 法は、2つの入力フレーム間の動きを推定することに集中している。
動作ベクトル推定に依存しないマルチインシングルアウト(MISO)に基づくVFI法を提案する。
我々はMISO-VFIがビデオフレーム内のベクトル時間をよりよくキャプチャできる新しい動き知覚損失を導入した。
論文 参考訳(メタデータ) (2023-11-20T08:29:55Z) - IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame
Interpolation with Events [14.098949778274733]
イベントカメラは、フレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。
IDO-VFIというイベント・アンド・フレームベースのビデオフレーム方式を提案する。
提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。
論文 参考訳(メタデータ) (2023-05-17T13:22:21Z) - Video Interpolation by Event-driven Anisotropic Adjustment of Optical
Flow [11.914613556594725]
イベント駆動型光フローの異方性調整によるビデオフレームのエンドツーエンドトレーニング手法A2OFを提案する。
具体的には、2つのフレーム間の複雑な動きをモデル化できる中間光学フローのための光フロー分布マスクを生成するためにイベントを使用する。
論文 参考訳(メタデータ) (2022-08-19T02:31:33Z) - Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual
Meta-Learning [65.85319901760478]
我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。
我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
論文 参考訳(メタデータ) (2022-07-27T17:36:23Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation [101.75999290175412]
補間フレーム内のエッジを保存することにより,画像のぼかしを低減し,オブジェクトの明確な形状を得る。
提案するエッジアウェアネットワーク(eanet)は、エッジ情報をフレームタスクに統合する。
フローマップの推定において,フレームエッジを強調する3つのエッジアウェア機構が開発されている。
論文 参考訳(メタデータ) (2021-05-17T08:44:34Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳(メタデータ) (2020-12-15T18:59:30Z) - Video Frame Interpolation via Generalized Deformable Convolution [18.357839820102683]
ビデオフレームは、空間的および時間的コンピテンシーを維持しながら、近くのソースフレームから中間フレームを合成することを目的としている。
既存のディープラーニングベースのビデオフレーム手法は、フローベースの方法とカーネルベースの方法の2つのカテゴリに分けられる。
データ駆動方式で動きを効果的に学習し、時空のサンプリングポイントを自由に選択できる汎用変形型畳み込み機構が提案されている。
論文 参考訳(メタデータ) (2020-08-24T20:00:39Z) - All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling [52.425236515695914]
最先端の手法は、一度に1つのフレームを補間する反復解である。
この研究は、真のマルチフレーム補間子を導入している。
時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
論文 参考訳(メタデータ) (2020-07-23T02:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。