論文の概要: FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation

• arxiv url: http://arxiv.org/abs/2012.08512v2
• Date: Thu, 15 Apr 2021 18:53:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:19:14.120429
• Title: FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation
• Title（参考訳）: FLAVR:高速フレーム補間のためのフロー非依存ビデオ表現
• Authors: Tarun Kalluri, Deepak Pathak, Manmohan Chandraker, Du Tran
• Abstract要約: FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
• 参考スコア（独自算出の注目度）: 97.99012124785177
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A majority of methods for video frame interpolation compute bidirectional optical flow between adjacent frames of a video, followed by a suitable warping algorithm to generate the output frames. However, approaches relying on optical flow often fail to model occlusions and complex non-linear motions directly from the video and introduce additional bottlenecks unsuitable for widespread deployment. We address these limitations with FLAVR, a flexible and efficient architecture that uses 3D space-time convolutions to enable end-to-end learning and inference for video frame interpolation. Our method efficiently learns to reason about non-linear motions, complex occlusions and temporal abstractions, resulting in improved performance on video interpolation, while requiring no additional inputs in the form of optical flow or depth maps. Due to its simplicity, FLAVR can deliver 3x faster inference speed compared to the current most accurate method on multi-frame interpolation without losing interpolation accuracy. In addition, we evaluate FLAVR on a wide range of challenging settings and consistently demonstrate superior qualitative and quantitative results compared with prior methods on various popular benchmarks including Vimeo-90K, UCF101, DAVIS, Adobe, and GoPro. Finally, we demonstrate that FLAVR for video frame interpolation can serve as a useful self-supervised pretext task for action recognition, optical flow estimation, and motion magnification.
• Abstract（参考訳）: ビデオフレーム補間法の多くは、隣接するビデオフレーム間の双方向光フローを計算し、次に適切なワーピングアルゴリズムを用いて出力フレームを生成する。 しかし、オプティカルフローに依存するアプローチは、ビデオから直接オクルージョンや複雑な非線形運動のモデル化に失敗し、広く展開するには適さない追加のボトルネックをもたらす。 flavrはフレキシブルで効率的なアーキテクチャで、3dの時空畳み込みを利用して、エンドツーエンドの学習とビデオフレーム補間の推論を可能にする。 本手法は, 非線形動作, 複雑な閉塞, 時間的抽象化の推論を効率よく学習し, 映像補間性能を向上すると同時に, 光流や深度マップの形での追加入力を必要としない。 その単純さから、flavrは補間精度を損なうことなく、現在最も正確なマルチフレーム補間法よりも3倍高速な推論速度を提供できる。 さらに,FLAVRを広範囲の挑戦的設定で評価し,Vimeo-90K, UCF101, DAVIS, Adobe, GoProなどの一般的なベンチマークと比較し,定性的かつ定量的な結果を一貫して示す。 最後に,ビデオフレーム補間用flavrが,アクション認識,光フロー推定,動き拡大のための有用な自己教師付きプリテキストタスクとして機能することを示す。

関連論文リスト

• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video Sequences [31.210626775505407]
  連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。 本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。 StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
  論文  参考訳（メタデータ） (2023-11-28T07:53:51Z)
• A Multi-In-Single-Out Network for Video Frame Interpolation without Optical Flow [14.877766449009119]
  深層学習に基づくビデオフレーム (VFI) 法は、2つの入力フレーム間の動きを推定することに集中している。 動作ベクトル推定に依存しないマルチインシングルアウト(MISO)に基づくVFI法を提案する。 我々はMISO-VFIがビデオフレーム内のベクトル時間をよりよくキャプチャできる新しい動き知覚損失を導入した。
  論文  参考訳（メタデータ） (2023-11-20T08:29:55Z)
• IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events [14.098949778274733]
  イベントカメラは、フレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。 IDO-VFIというイベント・アンド・フレームベースのビデオフレーム方式を提案する。 提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。
  論文  参考訳（メタデータ） (2023-05-17T13:22:21Z)
• Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
  ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。 入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。 本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T10:47:06Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。