論文の概要: Video Frame Interpolation via Generalized Deformable Convolution
- arxiv url: http://arxiv.org/abs/2008.10680v3
- Date: Thu, 18 Mar 2021 16:09:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 12:17:32.140074
- Title: Video Frame Interpolation via Generalized Deformable Convolution
- Title（参考訳）: 一般化変形性畳み込みによるビデオフレーム補間
- Authors: Zhihao Shi, Xiaohong Liu, Kangdi Shi, Linhui Dai, Jun Chen
- Abstract要約: ビデオフレームは、空間的および時間的コンピテンシーを維持しながら、近くのソースフレームから中間フレームを合成することを目的としている。
既存のディープラーニングベースのビデオフレーム手法は、フローベースの方法とカーネルベースの方法の2つのカテゴリに分けられる。
データ駆動方式で動きを効果的に学習し、時空のサンプリングポイントを自由に選択できる汎用変形型畳み込み機構が提案されている。
- 参考スコア（独自算出の注目度）: 18.357839820102683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video frame interpolation aims at synthesizing intermediate frames from
nearby source frames while maintaining spatial and temporal consistencies. The
existing deep-learning-based video frame interpolation methods can be roughly
divided into two categories: flow-based methods and kernel-based methods. The
performance of flow-based methods is often jeopardized by the inaccuracy of
flow map estimation due to oversimplified motion models, while that of
kernel-based methods tends to be constrained by the rigidity of kernel shape.
To address these performance-limiting issues, a novel mechanism named
generalized deformable convolution is proposed, which can effectively learn
motion information in a data-driven manner and freely select sampling points in
space-time. We further develop a new video frame interpolation method based on
this mechanism. Our extensive experiments demonstrate that the new method
performs favorably against the state-of-the-art, especially when dealing with
complex motions.
- Abstract（参考訳）: ビデオフレーム補間は、空間的および時間的コンピテンシーを維持しながら、近くのソースフレームから中間フレームを合成することを目的としている。
既存のディープラーニングベースのビデオフレーム補間方法は、フローベースメソッドとカーネルベースメソッドの2つのカテゴリに大別することができる。
フローベース手法の性能は、過度に単純化された動作モデルによるフローマップ推定の不正確さによってしばしば損なわれ、一方、カーネルベースの手法はカーネル形状の剛性によって制約される傾向にある。
これらの性能制限問題に対処するために,データ駆動方式で運動情報を効果的に学習し,時空にサンプリングポイントを自由に選択できる汎用的変形可能な畳み込み機構を提案する。
さらに,この機構に基づく新しいビデオフレーム補間手法を開発した。
提案手法は,特に複雑な動きを扱う場合,最先端技術に対して良好に機能することを示す。
関連論文リスト
- Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual
Meta-Learning [65.85319901760478]
我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。
我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
論文 参考訳（メタデータ） (2022-07-27T17:36:23Z) - Video Frame Interpolation Based on Deformable Kernel Region [18.55904569126297]
ビデオの変形可能な畳み込みを提案し、カーネル領域の固定グリッド制限を破ることができる。
提案モデルの優れた性能を示すために, 4つのデータセットを用いて実験を行った。
論文 参考訳（メタデータ） (2022-04-25T02:03:04Z) - Video Frame Interpolation Transformer [86.20646863821908]
本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。
グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。
さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
論文 参考訳（メタデータ） (2021-11-27T05:35:10Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - Video Frame Interpolation via Structure-Motion based Iterative Fusion [19.499969588931414]
映像フレーム補間のための構造運動に基づく反復融合法を提案する。
観客が前景や背景の物体に対して異なる視覚的嗜好を持つという観察に触発されて,私たちは初めて,映像フレーム補間作業の評価プロセスにサリエンシマスクを使うことを提案する。
論文 参考訳（メタデータ） (2021-05-11T22:11:17Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳（メタデータ） (2020-12-15T18:59:30Z) - Multiple Video Frame Interpolation via Enhanced Deformable Separable
Convolution [67.83074893311218]
カーネルベースの手法は、ソースフレームと空間適応型ローカルカーネルを囲む単一の畳み込みプロセスでピクセルを予測する。
本稿では,適応カーネルだけでなく,オフセット,マスク,バイアスを推定するための拡張変形性分離畳み込み(EDSC)を提案する。
提案手法は,幅広いデータセットを対象とした最先端の手法に対して良好に動作することを示す。
論文 参考訳（メタデータ） (2020-06-15T01:10:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。