論文の概要: ToonCrafter: Generative Cartoon Interpolation

• arxiv url: http://arxiv.org/abs/2405.17933v1
• Date: Tue, 28 May 2024 07:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 19:47:39.149195
• Title: ToonCrafter: Generative Cartoon Interpolation
• Title（参考訳）: ToonCrafter: 生成的なカルトーン補間
• Authors: Jinbo Xing, Hanyuan Liu, Menghan Xia, Yong Zhang, Xintao Wang, Ying Shan, Tien-Tsin Wong,
• Abstract要約: ToonCrafterは、従来の文通ベースの漫画映像を超越した新しいアプローチである。 ToonCrafterは、生成漫画にライブアクションビデオの動きを適用する際に直面する課題を効果的に解決する。 実験結果から,提案手法は視覚的に説得力があり,より自然に作用するだけでなく,非閉塞性も効果的に扱えることが示された。
• 参考スコア（独自算出の注目度）: 63.52353451649143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce ToonCrafter, a novel approach that transcends traditional correspondence-based cartoon video interpolation, paving the way for generative interpolation. Traditional methods, that implicitly assume linear motion and the absence of complicated phenomena like dis-occlusion, often struggle with the exaggerated non-linear and large motions with occlusion commonly found in cartoons, resulting in implausible or even failed interpolation results. To overcome these limitations, we explore the potential of adapting live-action video priors to better suit cartoon interpolation within a generative framework. ToonCrafter effectively addresses the challenges faced when applying live-action video motion priors to generative cartoon interpolation. First, we design a toon rectification learning strategy that seamlessly adapts live-action video priors to the cartoon domain, resolving the domain gap and content leakage issues. Next, we introduce a dual-reference-based 3D decoder to compensate for lost details due to the highly compressed latent prior spaces, ensuring the preservation of fine details in interpolation results. Finally, we design a flexible sketch encoder that empowers users with interactive control over the interpolation results. Experimental results demonstrate that our proposed method not only produces visually convincing and more natural dynamics, but also effectively handles dis-occlusion. The comparative evaluation demonstrates the notable superiority of our approach over existing competitors.
• Abstract（参考訳）: ToonCrafterは、従来の文通ベースの漫画ビデオ補間を超越し、生成補間への道を開く新しいアプローチである。 線形運動や非閉塞のような複雑な現象がないことを暗黙的に仮定する伝統的な手法は、漫画でよく見られるような、非直線的で大きな動きに苦しむことが多く、不可解あるいは補間結果さえも失敗する。 これらの制限を克服するために、我々は、生成フレームワーク内での漫画の補間によく合うように、ライブアクションビデオに先行して適応する可能性を探る。 ToonCrafterは、生成的マンガ補間に先立ってライブアクションビデオの動きを適用する際に直面する課題を効果的に解決する。 まず,漫画領域に先行するライブアクション映像をシームレスに適応し,ドメインギャップとコンテンツ漏洩を解消するトーン修正学習戦略を設計する。 次に,2次元参照型3Dデコーダを導入し,高度に圧縮された遅延空間による損失詳細を補償し,補間結果の細部保存を確実にする。 最後に,ユーザに対して補間結果をインタラクティブに制御するフレキシブルスケッチエンコーダを設計する。 実験結果から,提案手法は視覚的に説得力があり,より自然に作用するだけでなく,非閉塞性も効果的に扱えることが示された。 比較評価は、既存の競合相手に対する我々のアプローチの顕著な優位性を示している。

関連論文リスト

• Framer: Interactive Frame Interpolation [73.06734414930227]
  Framerのターゲットは、ユーザのクリエイティビティに応じて、2つのイメージ間のスムーズな遷移フレームを生成することだ。 提案手法は,選択したキーポイントの軌道を調整し,遷移過程のカスタマイズを支援する。 ここでは,キーポイントと軌道を自動的に推定するモジュールを導入する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:51Z)
• Thin-Plate Spline-based Interpolation for Animation Line Inbetweening [54.69811179222127]
  チャンファー距離(CD: Chamfer Distance)は、一般に間欠的な性能を評価するために用いられる。 薄板スプライン変換を応用したアニメーションラインインテタイニングの簡易かつ効果的な手法を提案する。 提案手法は, 流動性を高めた高品質な結果を提供することにより, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2024-08-17T08:05:31Z)
• Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
  本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
  論文  参考訳（メタデータ） (2024-08-08T17:59:38Z)
• Disentangling Foreground and Background Motion for Enhanced Realism in Human Video Generation [15.569467643817447]
  異なる動き表現を用いて動きを分離することで、前景と背景のダイナミクスを同時に学習する手法を提案する。 我々は、この革新的な動きの描写アプローチによって強化された現実世界の動画を訓練する。 誤りを蓄積することなく、より長いシーケンスにビデオ生成をさらに拡張するために、クリップ・バイ・クリップ・ジェネレーション・ストラテジーを採用する。
  論文  参考訳（メタデータ） (2024-05-26T00:53:26Z)
• AniClipart: Clipart Animation with Text-to-Video Priors [28.76809141136148]
  AniClipartは、静的な画像をテキストからビデオへの事前案内による高品質なモーションシーケンスに変換するシステムである。 実験結果から,提案したAniClipartは既存の画像・映像生成モデルより一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-18T17:24:28Z)
• An Animation-based Augmentation Approach for Action Recognition from Discontinuous Video [11.293897932762809]
  コンピュータビジョンの重要な構成要素である行動認識は、複数のアプリケーションにおいて重要な役割を果たす。 CNNは、不連続なビデオフレームでトレーニングされた場合、パフォーマンスの低下に悩まされる。 この問題を克服するために、一連の高度な技術を用いた4Aパイプラインを紹介します。
  論文  参考訳（メタデータ） (2024-04-10T04:59:51Z)
• Perception-Oriented Video Frame Interpolation via Asymmetric Blending [20.0024308216849]
  ビデオフレーム補間(VFI)の従来の手法は、特にぼやけやゴースト効果の顕在化といった問題に直面している。 本稿では,これらの課題を軽減するためにPerVFI(Perception-oriented Video Frame Interpolation)を提案する。 実験により,PerVFIの優位性が検証され,既存の手法に比べて知覚品質が有意に向上した。
  論文  参考訳（メタデータ） (2024-04-10T02:40:17Z)
• DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors [63.43133768897087]
  オープンドメイン画像をアニメーションビデオに変換する手法を提案する。 鍵となるアイデアは、画像を生成プロセスに組み込むことで、テキストからビデオへの拡散モデルに先立っての動きを活用することである。 提案手法は視覚的に説得力があり、より論理的で自然な動きが得られ、入力画像への適合性が向上する。
  論文  参考訳（メタデータ） (2023-10-18T14:42:16Z)
• Deep Animation Video Interpolation in the Wild [115.24454577119432]
  本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。 効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。 特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
  論文  参考訳（メタデータ） (2021-04-06T13:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。