論文の概要: A Multi-In-Single-Out Network for Video Frame Interpolation without Optical Flow

• arxiv url: http://arxiv.org/abs/2311.11602v1
• Date: Mon, 20 Nov 2023 08:29:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 19:27:46.050319
• Title: A Multi-In-Single-Out Network for Video Frame Interpolation without Optical Flow
• Title（参考訳）: 光フローのないビデオフレーム補間のためのマルチインシングルアウトネットワーク
• Authors: Jaemin Lee, Minseok Seo, Sangwoo Lee, Hyobin Park, Dong-Geol Choi
• Abstract要約: 深層学習に基づくビデオフレーム (VFI) 法は、2つの入力フレーム間の動きを推定することに集中している。 動作ベクトル推定に依存しないマルチインシングルアウト(MISO)に基づくVFI法を提案する。 我々はMISO-VFIがビデオフレーム内のベクトル時間をよりよくキャプチャできる新しい動き知覚損失を導入した。
• 参考スコア（独自算出の注目度）: 14.877766449009119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In general, deep learning-based video frame interpolation (VFI) methods have predominantly focused on estimating motion vectors between two input frames and warping them to the target time. While this approach has shown impressive performance for linear motion between two input frames, it exhibits limitations when dealing with occlusions and nonlinear movements. Recently, generative models have been applied to VFI to address these issues. However, as VFI is not a task focused on generating plausible images, but rather on predicting accurate intermediate frames between two given frames, performance limitations still persist. In this paper, we propose a multi-in-single-out (MISO) based VFI method that does not rely on motion vector estimation, allowing it to effectively model occlusions and nonlinear motion. Additionally, we introduce a novel motion perceptual loss that enables MISO-VFI to better capture the spatio-temporal correlations within the video frames. Our MISO-VFI method achieves state-of-the-art results on VFI benchmarks Vimeo90K, Middlebury, and UCF101, with a significant performance gap compared to existing approaches.
• Abstract（参考訳）: 一般に、深層学習に基づくビデオフレーム補間(vfi)法は、主に2つの入力フレーム間の動きベクトルを推定し、それを目標時間にゆがめることに焦点を当てている。 このアプローチは2つの入力フレーム間の線形運動に対して顕著な性能を示すが、オクルージョンや非線形運動を扱う際の限界を示す。 近年,これらの問題に対処するための生成モデルがVFIに適用されている。 しかしながら、VFIは可塑性画像の生成に重点を置いているのではなく、与えられた2つのフレーム間の正確な中間フレームの予測に重点を置いているため、性能制限は継続する。 本稿では,動作ベクトル推定に依存しないマルチインシングルアウト(MISO)に基づくVFI手法を提案し,オクルージョンと非線形動作を効果的にモデル化する。 さらに,MISO-VFIによりビデオフレーム内の時空間相関をよりよく捉えることができる新しい動き知覚損失を導入する。 MISO-VFI法は,VFIベンチマークのVimeo90K,Middlebury,UCF101において,既存手法と比較して高い性能差を示した。

関連論文リスト

• Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
  フローベースビデオフレーム補間(VFI)における動きの重要性 General Implicit Motion Modeling (IMM)は、モーションモデリングVFIの新規かつ効果的なアプローチである。 我々のGIMMは、既存のフローベースのVFIワークとスムーズに統合できます。
  論文  参考訳（メタデータ） (2024-07-11T17:13:15Z)
• Motion-aware Latent Diffusion Models for Video Frame Interpolation [51.78737270917301]
  隣接するフレーム間の動き推定は、動きのあいまいさを避ける上で重要な役割を担っている。 我々は、新しい拡散フレームワーク、動き認識潜在拡散モデル(MADiff)を提案する。 提案手法は,既存手法を著しく上回る最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T05:09:56Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Boost Video Frame Interpolation via Motion Adaptation [73.42573856943923]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを生成することを目的とした課題である。 既存の学習ベースのVFI手法は大きな成功を収めたが、それでも限定的な一般化能力に悩まされている。 テスト時に見えない動作に適応できる新しい最適化ベースのVFI法を提案する。
  論文  参考訳（メタデータ） (2023-06-24T10:44:02Z)
• IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events [14.098949778274733]
  イベントカメラは、フレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。 IDO-VFIというイベント・アンド・フレームベースのビデオフレーム方式を提案する。 提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。
  論文  参考訳（メタデータ） (2023-05-17T13:22:21Z)
• Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
  ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。 入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。 本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T10:47:06Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。