論文の概要: Enhanced Deep Animation Video Interpolation

• arxiv url: http://arxiv.org/abs/2206.12657v1
• Date: Sat, 25 Jun 2022 14:00:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 12:48:40.781625
• Title: Enhanced Deep Animation Video Interpolation
• Title（参考訳）: 深部アニメーション映像補間の強化
• Authors: Wang Shen, Cheng Ming, Wenbo Bao, Guangtao Zhai, Li Chen, Zhiyong Gao
• Abstract要約: 既存の学習ベースのフレームアルゴリズムは、高速な自然ビデオから連続的なフレームを抽出し、モデルを訓練する。 ナチュラルビデオと比較すると、漫画ビデオは通常、フレームレートが低い。 本稿では,ディープアニメーションビデオのトレーニングデータを自動レンダリングするAutoFIを提案する。
• 参考スコア（独自算出の注目度）: 47.7046169124373
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing learning-based frame interpolation algorithms extract consecutive frames from high-speed natural videos to train the model. Compared to natural videos, cartoon videos are usually in a low frame rate. Besides, the motion between consecutive cartoon frames is typically nonlinear, which breaks the linear motion assumption of interpolation algorithms. Thus, it is unsuitable for generating a training set directly from cartoon videos. For better adapting frame interpolation algorithms from nature video to animation video, we present AutoFI, a simple and effective method to automatically render training data for deep animation video interpolation. AutoFI takes a layered architecture to render synthetic data, which ensures the assumption of linear motion. Experimental results show that AutoFI performs favorably in training both DAIN and ANIN. However, most frame interpolation algorithms will still fail in error-prone areas, such as fast motion or large occlusion. Besides AutoFI, we also propose a plug-and-play sketch-based post-processing module, named SktFI, to refine the final results using user-provided sketches manually. With AutoFI and SktFI, the interpolated animation frames show high perceptual quality.
• Abstract（参考訳）: 既存の学習に基づくフレーム補間アルゴリズムは、高速自然ビデオから連続したフレームを抽出してモデルを訓練する。 自然ビデオと比較すると、漫画ビデオは通常低フレームレートである。 さらに、連続したマンガフレーム間の動きは通常非線形であり、補間アルゴリズムの線形運動仮定を破る。 したがって、漫画ビデオから直接トレーニングセットを作成するのに不適当である。 自然映像からアニメーション映像へのフレーム補間アルゴリズムの適応性を向上させるために,深層映像補間のためのトレーニングデータを自動生成する簡易かつ効果的な手法であるautofiを提案する。 autofiは合成データをレンダリングするために階層アーキテクチャを採用し、リニアモーションの仮定を保証する。 実験の結果, AutoFI はDAIN と ANIN の両方のトレーニングにおいて良好に機能することがわかった。 しかし、ほとんどのフレーム補間アルゴリズムは、高速動作や大きなオクルージョンのようなエラーが発生しやすい領域で失敗する。 また,AutoFIの他に,SktFIというプラグイン・アンド・プレイによる後処理モジュールも提案する。 AutoFIとSktFIでは、補間されたアニメーションフレームは知覚品質が高い。

関連論文リスト

• TTVFI: Learning Trajectory-Aware Transformer for Video Frame Interpolation [50.49396123016185]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。 ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。 提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-19T03:37:49Z)
• Unsupervised Video Interpolation by Learning Multilayered 2.5D Motion Fields [75.81417944207806]
  本稿では,ビデオフレーム学習において,単一のビデオのみを必要とする自己教師型アプローチを提案する。 時間変化運動場上に定義された通常の微分可能方程式(ODE)を解くことにより,映像の動きをパラメータ化する。 この暗黙的な神経表現は、ビデオを時空間連続体として学習し、任意の時間分解能でフレーム時間連続体を可能にする。
  論文  参考訳（メタデータ） (2022-04-21T06:17:05Z)
• Video Frame Interpolation without Temporal Priors [91.04877640089053]
  ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。 フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。 我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
  論文  参考訳（メタデータ） (2021-12-02T12:13:56Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• Deep Animation Video Interpolation in the Wild [115.24454577119432]
  本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。 効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。 特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
  論文  参考訳（メタデータ） (2021-04-06T13:26:49Z)
• Texture-aware Video Frame Interpolation [0.0]
  映像テクスチャーが映像フレーム合成に与える影響について検討し、アルゴリズムを付与し、異なるテクスチャーで別々のモデルを訓練する新しいフレームワークを提案する。 本研究は,映像テクスチャがフレームモデルの性能に有意な影響を与えていることを示し,汎用的な動作を学習する単一モデルをトレーニングする代わりに,これらのテクスチャクラスに特化して個別のモデルを持つことが有益である。
  論文  参考訳（メタデータ） (2021-02-26T14:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。