論文の概要: Dynamic Video Frame Interpolation with integrated Difficulty Pre-Assessment

• arxiv url: http://arxiv.org/abs/2304.12664v1
• Date: Tue, 25 Apr 2023 09:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 21:20:43.096893
• Title: Dynamic Video Frame Interpolation with integrated Difficulty Pre-Assessment
• Title（参考訳）: 統合困難な事前評価による動的ビデオフレーム補間
• Authors: Ban Chen, Xin Jin, Youxin Chen, Longhai Wu, Jie Chen, Jayoon Koo, Cheul-hee Hahm
• Abstract要約: ビデオフレーム(VFI)モデルは、精度と効率の良好なトレードオフを達成するのに依然として苦労している。 本稿では,難易度評価とビデオフレームデータセットを組み合わせた統合パイプラインを提案する。 提案するパイプラインは、VFIの精度と効率のトレードオフを改善することができる。
• 参考スコア（独自算出の注目度）: 10.248729137820442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video frame interpolation(VFI) has witnessed great progress in recent years. While existing VFI models still struggle to achieve a good trade-off between accuracy and efficiency: fast models often have inferior accuracy; accurate models typically run slowly. However, easy samples with small motion or clear texture can achieve competitive results with simple models and do not require heavy computation. In this paper, we present an integrated pipeline which combines difficulty assessment with video frame interpolation. Specifically, it firstly leverages a pre-assessment model to measure the interpolation difficulty level of input frames, and then dynamically selects an appropriate VFI model to generate interpolation results. Furthermore, a large-scale VFI difficulty assessment dataset is collected and annotated to train our pre-assessment model. Extensive experiments show that easy samples pass through fast models while difficult samples inference with heavy models, and our proposed pipeline can improve the accuracy-efficiency trade-off for VFI.
• Abstract（参考訳）: ビデオフレーム補間(vfi)は近年、大きな進歩を遂げている。 既存のVFIモデルは、精度と効率の良好なトレードオフを達成するのに依然として苦労している。 しかし、小さな動きや明瞭なテクスチャを持つ簡単なサンプルは単純なモデルで競合する結果を得ることができ、重い計算を必要としない。 本稿では,難易度評価とビデオフレーム補間を組み合わせた統合パイプラインを提案する。 具体的には、まずプレアセスメントモデルを利用して入力フレームの補間難度を測定し、次に動的に適切なVFIモデルを選択して補間結果を生成する。 さらに、大規模なVFI困難度評価データセットを収集し、アノテートして、事前評価モデルをトレーニングする。 大規模な実験により, 高速なサンプルを高速なモデルに通過させながら, 重いモデルによる予測が困難であることが確認された。

関連論文リスト

• Motion-aware Latent Diffusion Models for Video Frame Interpolation [51.78737270917301]
  隣接するフレーム間の動き推定は、動きのあいまいさを避ける上で重要な役割を担っている。 我々は、新しい拡散フレームワーク、動き認識潜在拡散モデル(MADiff)を提案する。 提案手法は,既存手法を著しく上回る最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T05:09:56Z)
• Video Interpolation with Diffusion Models [54.06746595879689]
  本稿では,ビデオ生成モデルであるVIDIMについて述べる。 VIDIMはカスケード拡散モデルを用いて、まず低解像度でターゲット映像を生成し、次に低解像度で生成されたビデオに条件付けされた高解像度映像を生成する。
  論文  参考訳（メタデータ） (2024-04-01T15:59:32Z)
• FrameNeRF: A Simple and Efficient Framework for Few-shot Novel View Synthesis [25.356376402671536]
  FrameNeRFは、高速なトレーニング速度と高速なレンダリング品質を備えた市販の高速高忠実度NeRFモデルを、数発の新規ビュー合成タスクに適用するように設計されている。
  論文  参考訳（メタデータ） (2024-02-22T14:41:02Z)
• Empirical Analysis of Efficient Fine-Tuning Methods for Large Pre-Trained Language Models [4.096453902709292]
  BitFitとアダプタモジュールは、標準のフルモデルファインチューニングと比較される。 BitFitアプローチは、さまざまなトレーニングデータにわたる完全な微調整パフォーマンスと一致します。 アダプタモジュールは、デフォルトモデルよりも一貫性のないゲインを持つ、高い可変性を示す。
  論文  参考訳（メタデータ） (2024-01-08T17:44:43Z)
• Boost Video Frame Interpolation via Motion Adaptation [73.42573856943923]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを生成することを目的とした課題である。 既存の学習ベースのVFI手法は大きな成功を収めたが、それでも限定的な一般化能力に悩まされている。 テスト時に見えない動作に適応できる新しい最適化ベースのVFI法を提案する。
  論文  参考訳（メタデータ） (2023-06-24T10:44:02Z)
• H-VFI: Hierarchical Frame Interpolation for Videos with Large Motions [63.23985601478339]
  本稿では,ビデオフレームにおける大きな動きに対処する,単純で効果的なH-VFI法を提案する。 H-VFIは、粗大な戦略で変形可能なカーネルを学習するために階層型ビデオ変換器に寄与する。 このようなプログレッシブ近似の利点は、大きなモーションフレーム問題を比較的単純ないくつかのサブタスクに予測できることである。
  論文  参考訳（メタデータ） (2022-11-21T09:49:23Z)
• Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
  ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。 入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。 本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T10:47:06Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。