論文の概要: Deep Animation Video Interpolation in the Wild

• arxiv url: http://arxiv.org/abs/2104.02495v1
• Date: Tue, 6 Apr 2021 13:26:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:04:20.850487
• Title: Deep Animation Video Interpolation in the Wild
• Title（参考訳）: 野生動物におけるディープアニメーションビデオ補間
• Authors: Li Siyao, Shiyu Zhao, Weijiang Yu, Wenxiu Sun, Dimitris N. Metaxas, Chen Change Loy, Ziwei Liu
• Abstract要約: 本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。 効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。 特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
• 参考スコア（独自算出の注目度）: 115.24454577119432
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the animation industry, cartoon videos are usually produced at low frame rate since hand drawing of such frames is costly and time-consuming. Therefore, it is desirable to develop computational models that can automatically interpolate the in-between animation frames. However, existing video interpolation methods fail to produce satisfying results on animation data. Compared to natural videos, animation videos possess two unique characteristics that make frame interpolation difficult: 1) cartoons comprise lines and smooth color pieces. The smooth areas lack textures and make it difficult to estimate accurate motions on animation videos. 2) cartoons express stories via exaggeration. Some of the motions are non-linear and extremely large. In this work, we formally define and study the animation video interpolation problem for the first time. To address the aforementioned challenges, we propose an effective framework, AnimeInterp, with two dedicated modules in a coarse-to-fine manner. Specifically, 1) Segment-Guided Matching resolves the "lack of textures" challenge by exploiting global matching among color pieces that are piece-wise coherent. 2) Recurrent Flow Refinement resolves the "non-linear and extremely large motion" challenge by recurrent predictions using a transformer-like architecture. To facilitate comprehensive training and evaluations, we build a large-scale animation triplet dataset, ATD-12K, which comprises 12,000 triplets with rich annotations. Extensive experiments demonstrate that our approach outperforms existing state-of-the-art interpolation methods for animation videos. Notably, AnimeInterp shows favorable perceptual quality and robustness for animation scenarios in the wild. The proposed dataset and code are available at https://github.com/lisiyao21/AnimeInterp/.
• Abstract（参考訳）: アニメーション業界では、このようなフレームのハンドドローイングが高価で時間を要するため、漫画ビデオは通常、低フレームレートで制作される。 したがって,アニメーションフレームを自動的に補間できる計算モデルを開発することが望ましい。 しかし,既存の映像補間手法ではアニメーションデータに満足な結果が得られなかった。 ナチュラルビデオと比較して、アニメーションビデオにはフレーム補間を難しくする2つの特徴がある: 1)漫画は線と滑らかな色片で構成されている。 滑らかなエリアにはテクスチャがなく、アニメーションビデオの正確な動きを推定することが難しい。 2)漫画は誇張によって物語を表現する。 運動のいくつかは非線形で非常に大きい。 本研究では,アニメーション映像の補間問題を初めて形式的に定義・検討する。 上記の課題に対処するため,我々は,2つの専用モジュールを粒度から精細に構成した効果的なフレームワークanimeinterpを提案する。 特に,1)セグメンツガイドマッチングは,一括コヒーレントな色片間のグローバルマッチングを活用することで,テクスチャの欠如を解消する。 2) リカレントフローリファインメントは,トランスフォーマチックアーキテクチャを用いたリカレント予測による"非線形・極大動作"の課題を解決する。 総合的なトレーニングと評価を容易にするため,リッチアノテーションを備えた12,000のトリプルレットからなる大規模アニメーショントリプルデータセットATD-12Kを構築した。 広範な実験により,提案手法が既存のアニメーション映像の補間手法を上回っていることを実証した。 特に、AnimeInterpは、野生のアニメーションシナリオに好意的な品質と堅牢性を示している。 提案されたデータセットとコードはhttps://github.com/lisiyao21/animeinterp/で入手できる。

関連論文リスト

• AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
  動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。 AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。 我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
  論文  参考訳（メタデータ） (2024-04-07T12:57:41Z)
• AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
  我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。 外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。 時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
  論文  参考訳（メタデータ） (2023-12-06T13:39:35Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• AnimeRun: 2D Animation Visual Correspondence from Open Source 3D Movies [98.65469430034246]
  既存の2次元漫画のデータセットは、単純なフレーム構成と単調な動きに悩まされている。 我々は,オープンソースの3D映画を2Dスタイルのフルシーンに変換することによって,新しい2Dアニメーション視覚対応データセットAnimeRunを提案する。 分析の結果,提案したデータセットは画像合成において実際のアニメに似るだけでなく,既存のデータセットと比較してよりリッチで複雑な動きパターンを持つことがわかった。
  論文  参考訳（メタデータ） (2022-11-10T17:26:21Z)
• SketchBetween: Video-to-Video Synthesis for Sprite Animation via Sketches [0.9645196221785693]
  2Dアニメーションは、キャラクター、エフェクト、バックグラウンドアートに使用されるゲーム開発において一般的な要素である。 アニメーションの自動化アプローチは存在するが、アニメーションを念頭に置いて設計されている。 本稿では,アニメーションの標準的なワークフローにより密着した問題定式化を提案する。
  論文  参考訳（メタデータ） (2022-09-01T02:43:19Z)
• Enhanced Deep Animation Video Interpolation [47.7046169124373]
  既存の学習ベースのフレームアルゴリズムは、高速な自然ビデオから連続的なフレームを抽出し、モデルを訓練する。 ナチュラルビデオと比較すると、漫画ビデオは通常、フレームレートが低い。 本稿では,ディープアニメーションビデオのトレーニングデータを自動レンダリングするAutoFIを提案する。
  論文  参考訳（メタデータ） (2022-06-25T14:00:48Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• Going beyond Free Viewpoint: Creating Animatable Volumetric Video of Human Performances [7.7824496657259665]
  本稿では,人間の演奏の高品質な映像コンテンツ作成のためのエンドツーエンドパイプラインを提案する。 セマンティックエンリッチメントと幾何学的アニメーション能力は、3Dデータに時間的一貫性を確立することによって達成される。 ポーズ編集では、キャプチャしたデータを可能な限り活用し、キャプチャしたフレームをキネマティックに変形して所望のポーズに適合させる。
  論文  参考訳（メタデータ） (2020-09-02T09:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。