論文の概要: Video Frame Interpolation Based on Deformable Kernel Region

• arxiv url: http://arxiv.org/abs/2204.11396v1
• Date: Mon, 25 Apr 2022 02:03:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 14:17:59.596153
• Title: Video Frame Interpolation Based on Deformable Kernel Region
• Title（参考訳）: 変形可能なカーネル領域に基づくビデオフレーム補間
• Authors: Haoyue Tian, Pan Gao, Xiaojiang Peng
• Abstract要約: ビデオの変形可能な畳み込みを提案し、カーネル領域の固定グリッド制限を破ることができる。 提案モデルの優れた性能を示すために, 4つのデータセットを用いて実験を行った。
• 参考スコア（独自算出の注目度）: 18.55904569126297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video frame interpolation task has recently become more and more prevalent in the computer vision field. At present, a number of researches based on deep learning have achieved great success. Most of them are either based on optical flow information, or interpolation kernel, or a combination of these two methods. However, these methods have ignored that there are grid restrictions on the position of kernel region during synthesizing each target pixel. These limitations result in that they cannot well adapt to the irregularity of object shape and uncertainty of motion, which may lead to irrelevant reference pixels used for interpolation. In order to solve this problem, we revisit the deformable convolution for video interpolation, which can break the fixed grid restrictions on the kernel region, making the distribution of reference points more suitable for the shape of the object, and thus warp a more accurate interpolation frame. Experiments are conducted on four datasets to demonstrate the superior performance of the proposed model in comparison to the state-of-the-art alternatives.
• Abstract（参考訳）: 近年,コンピュータビジョン分野において,映像フレーム補間作業が一般化している。 現在、深層学習に基づく多くの研究が大きな成功を収めている。 その多くは光学フロー情報や補間カーネル、あるいはこれら2つの方法の組み合わせに基づいている。 しかし,これらの手法は,各対象画素の合成中にカーネル領域の位置に格子制限が存在することを無視している。 これらの制限は、物体の形状の不規則さや運動の不確実性にうまく適応できず、補間に使用する無関係な参照画素につながる可能性がある。 この問題を解決するために,ビデオ補間における変形可能な畳み込みを再検討し,カーネル領域の固定グリッド制約を破って,参照点の分布を物体の形状に適合させ,より正確な補間フレームを警告する。 4つのデータセットを用いて実験を行い、提案モデルの性能を最先端の代替モデルと比較した。

関連論文リスト

• ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
  現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。 我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。 提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
  論文  参考訳（メタデータ） (2024-10-08T03:01:54Z)
• Neighbor Correspondence Matching for Flow-based Video Frame Synthesis [90.14161060260012]
  フローベースフレーム合成のための近傍対応マッチング(NCM)アルゴリズムを提案する。 NCMは現在のフレームに依存しない方法で実行され、各ピクセルの時空間近傍でマルチスケールの対応を確立する。 粗いスケールのモジュールは、近隣の対応を利用して大きな動きを捉えるように設計されている。
  論文  参考訳（メタデータ） (2022-07-14T09:17:00Z)
• Deep Recurrent Neural Network with Multi-scale Bi-directional Propagation for Video Deblurring [36.94523101375519]
  本稿では,RNN-MBP(Multiscale Bi-directional Propagation)を用いたディープリカレントニューラルネットワークを提案する。 提案したアルゴリズムと既存の最先端の手法を現実世界のぼやけたシーンでよりよく評価するために、リアルワールドのぼやけたビデオデータセットも作成する。 提案アルゴリズムは3つの典型的なベンチマークにおける最先端の手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-09T11:02:56Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
  ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。 特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。 提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-03-07T04:33:13Z)
• Video Frame Interpolation via Generalized Deformable Convolution [18.357839820102683]
  ビデオフレームは、空間的および時間的コンピテンシーを維持しながら、近くのソースフレームから中間フレームを合成することを目的としている。 既存のディープラーニングベースのビデオフレーム手法は、フローベースの方法とカーネルベースの方法の2つのカテゴリに分けられる。 データ駆動方式で動きを効果的に学習し、時空のサンプリングポイントを自由に選択できる汎用変形型畳み込み機構が提案されている。
  論文  参考訳（メタデータ） (2020-08-24T20:00:39Z)
• Multiple Video Frame Interpolation via Enhanced Deformable Separable Convolution [67.83074893311218]
  カーネルベースの手法は、ソースフレームと空間適応型ローカルカーネルを囲む単一の畳み込みプロセスでピクセルを予測する。 本稿では,適応カーネルだけでなく,オフセット,マスク,バイアスを推定するための拡張変形性分離畳み込み(EDSC)を提案する。 提案手法は,幅広いデータセットを対象とした最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-06-15T01:10:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。