論文の概要: BiM-VFI: directional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions
- arxiv url: http://arxiv.org/abs/2412.11365v1
- Date: Mon, 16 Dec 2024 01:37:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:57:19.529276
- Title: BiM-VFI: directional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions
- Title（参考訳）: BiM-VFI:非一様モーション映像のための方向運動場誘導フレーム補間
- Authors: Wonyong Seo, Jihyong Oh, Munchurl Kim,
- Abstract要約: 既存のビデオフレーム(VFI)モデルは、一様でない動きのビデオで訓練する際、時間と位置のあいまいさに悩まされる傾向がある。
非一様運動を効果的に記述するための双方向運動場(Bidirectional Motion Field, BiM)を提案する。
BiM-VFIモデルは、最近の最先端のVFI手法を26%、LPIPSとSTLPIPSの45%で大幅に上回っている。
- 参考スコア（独自算出の注目度）: 28.455538651097562
- License:
- Abstract: Existing Video Frame interpolation (VFI) models tend to suffer from time-to-location ambiguity when trained with video of non-uniform motions, such as accelerating, decelerating, and changing directions, which often yield blurred interpolated frames. In this paper, we propose (i) a novel motion description map, Bidirectional Motion field (BiM), to effectively describe non-uniform motions; (ii) a BiM-guided Flow Net (BiMFN) with Content-Aware Upsampling Network (CAUN) for precise optical flow estimation; and (iii) Knowledge Distillation for VFI-centric Flow supervision (KDVCF) to supervise the motion estimation of VFI model with VFI-centric teacher flows. The proposed VFI is called a Bidirectional Motion field-guided VFI (BiM-VFI) model. Extensive experiments show that our BiM-VFI model significantly surpasses the recent state-of-the-art VFI methods by 26% and 45% improvements in LPIPS and STLPIPS respectively, yielding interpolated frames with much fewer blurs at arbitrary time instances.
- Abstract（参考訳）: 既存のビデオフレーム補間(VFI)モデルは、加速、減速、方向の変化などの一様でない動きのビデオで訓練された場合、時間と位置のあいまいさに悩まされがちであり、しばしばぼやけた補間フレームが得られる。
本稿では,本稿で提案する。
(i)非一様運動を効果的に記述する新規な動き記述地図、双方向運動場(BiM)
(II)正確な光流量推定のためのコンテンツ意識アップサンプリングネットワーク(CAUN)を備えたBiM誘導流網(BiMFN)
3) VFI中心型教師フローを用いたVFIモデルの動作推定を監督するための知識蒸留(KDVCF)
提案したVFIは双方向運動誘導型VFI(Bidirectional Motion-guided VFI)モデルと呼ばれる。
広汎な実験により、我々のBiM-VFIモデルは、LPIPSとSTLPIPSの26%と45%の改善により、最近の最先端VFI法を著しく上回り、任意の時間インスタンスにおいて、はるかにぼやけの少ない補間フレームが得られることが示された。
関連論文リスト
- Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
フローベースビデオフレーム補間(VFI)における動きの重要性
本稿では,動きモデリングVFIの新規かつ効果的なアプローチである一般インプリシット・モーション・モデリング(IMM)を紹介する。
我々のGIMMは、正確にモデル化された動きを供給することによって、既存のフローベースVFIワークと容易に統合できる。
論文 参考訳（メタデータ） (2024-07-11T17:13:15Z) - Motion-aware Latent Diffusion Models for Video Frame Interpolation [51.78737270917301]
隣接するフレーム間の動き推定は、動きのあいまいさを避ける上で重要な役割を担っている。
我々は、新しい拡散フレームワーク、動き認識潜在拡散モデル(MADiff)を提案する。
提案手法は,既存手法を著しく上回る最先端性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T05:09:56Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - A Multi-In-Single-Out Network for Video Frame Interpolation without
Optical Flow [14.877766449009119]
深層学習に基づくビデオフレーム (VFI) 法は、2つの入力フレーム間の動きを推定することに集中している。
動作ベクトル推定に依存しないマルチインシングルアウト(MISO)に基づくVFI法を提案する。
我々はMISO-VFIがビデオフレーム内のベクトル時間をよりよくキャプチャできる新しい動き知覚損失を導入した。
論文 参考訳（メタデータ） (2023-11-20T08:29:55Z) - Boost Video Frame Interpolation via Motion Adaptation [73.42573856943923]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを生成することを目的とした課題である。
既存の学習ベースのVFI手法は大きな成功を収めたが、それでも限定的な一般化能力に悩まされている。
テスト時に見えない動作に適応できる新しい最適化ベースのVFI法を提案する。
論文 参考訳（メタデータ） (2023-06-24T10:44:02Z) - Learning Comprehensive Motion Representation for Action Recognition [124.65403098534266]
2d cnnベースのメソッドは効率的であるが、各フレームに同じ2d畳み込みカーネルを適用することで冗長な機能が得られる。
最近の試みは、フレーム間接続を確立しながら、時間的受容野や高いレイテンシに苦しめながら、動き情報をキャプチャしようとするものである。
チャネルワイズゲートベクトルを用いた動的情報に関連するチャネルを適応的に強調するCME(Channel-wise Motion Enhancement)モジュールを提案する。
また,近接する特徴写像の点対点類似性に応じて,重要な目標を持つ領域に焦点をあてる空間的運動強調(SME)モジュールを提案する。
論文 参考訳（メタデータ） (2021-03-23T03:06:26Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳（メタデータ） (2020-12-15T18:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。