論文の概要: AniClipart: Clipart Animation with Text-to-Video Priors
- arxiv url: http://arxiv.org/abs/2404.12347v2
- Date: Wed, 11 Dec 2024 08:30:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 13:58:42.629088
- Title: AniClipart: Clipart Animation with Text-to-Video Priors
- Title（参考訳）: AniClipart: テキストからビデオへの事前アニメーション
- Authors: Ronghuan Wu, Wanchao Su, Kede Ma, Jing Liao,
- Abstract要約: 本稿では,静的アニメーションをテキストからビデオへの誘導による高品質なアニメーションに変換する計算システムAniClipartを紹介する。
As-Rigid-As-Possible(ARAP)形状の変形とレンダリングの差別化により、AniClipartは剛性を維持しながらエンドツーエンドで最適化できる。
- 参考スコア（独自算出の注目度）: 28.76809141136148
- License:
- Abstract: Clipart, a pre-made art form, offers a convenient and efficient way of creating visual content. However, traditional workflows for animating static clipart are laborious and time-consuming, involving steps like rigging, keyframing, and inbetweening. Recent advancements in text-to-video generation hold great potential in resolving this challenge. Nevertheless, direct application of text-to-video models often struggles to preserve the visual identity of clipart or generate cartoon-style motion, resulting in subpar animation outcomes. In this paper, we introduce AniClipart, a computational system that converts static clipart into high-quality animations guided by text-to-video priors. To generate natural, smooth, and coherent motion, we first parameterize the motion trajectories of the keypoints defined over the initial clipart image by cubic B\'ezier curves. We then align these motion trajectories with a given text prompt by optimizing a video Score Distillation Sampling (SDS) loss and a skeleton fidelity loss. By incorporating differentiable As-Rigid-As-Possible (ARAP) shape deformation and differentiable rendering, AniClipart can be end-to-end optimized while maintaining deformation rigidity. Extensive experimental results show that the proposed AniClipart consistently outperforms the competing methods, in terms of text-video alignment, visual identity preservation, and temporal consistency. Additionally, we showcase the versatility of AniClipart by adapting it to generate layered animations, which allow for topological changes.
- Abstract（参考訳）: プリメイドのアートフォームClipartは、ビジュアルコンテンツを作るための便利で効率的な方法を提供する。
しかし、静的クリップアートをアニメーションするための従来のワークフローは、リギング、キーフレーミング、インテツワイニングといったステップを含む、手間と時間を要する。
近年のテキスト・ビデオ・ジェネレーションの進歩は、この課題を解決する大きな可能性を秘めている。
それでも、テキスト・トゥ・ビデオ・モデルの直接的な適用は、クリップアートの視覚的アイデンティティを維持するか、漫画風の動作を生成するのに苦労することが多く、その結果、サブパー・アニメーションの結果が生じる。
本稿では,静的クリップアートをテキストからビデオへの事前案内による高品質なアニメーションに変換する計算システムであるAniClipartを紹介する。
自然で滑らかでコヒーレントな動きを生成するために,まず,初期クリップアート画像上に定義されたキーポイントの運動軌跡を3次B'ezier曲線でパラメータ化する。
次に、これらの動き軌跡を、ビデオスコア蒸留サンプリング(SDS)の損失と骨格の忠実度損失を最適化することにより、所定のテキストプロンプトと整合させる。
微分可能なAs-Rigid-As-Possible(ARAP)形状変形と微分可能なレンダリングを組み込むことにより、AniClipartは変形剛性を維持しながらエンドツーエンドに最適化できる。
AniClipartはテキスト・ビデオのアライメント、視覚的アイデンティティの保存、時間的一貫性の点で、競合する手法よりも一貫して優れていた。
さらに、AniClipartを階層化されたアニメーションに適応させることで、トポロジ的な変更を可能にすることで、AniClipartの汎用性を示す。
関連論文リスト
- FlexiClip: Locality-Preserving Free-Form Character Animation [14.50214193838818]
AniClipartのような既存の手法は、幾何学的変形を効果的にモデル化するが、しばしばスムーズな時間遷移を保証するのに失敗する。
本稿では,時間的整合性や幾何的整合性といった課題に対処することで,これらの制約を克服する新しいアプローチであるFlexiClipを紹介する。
論文 参考訳（メタデータ） (2025-01-15T09:07:12Z) - FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations [65.64014682930164]
スケッチアニメーションは、単純なフリップブックの落書きからプロのスタジオプロダクションまで、ビジュアルなストーリーテリングのための強力な媒体を提供する。
FlipSketchは、フリップブックアニメーションの魔法を復活させるシステムです。
論文 参考訳（メタデータ） (2024-11-16T14:53:03Z) - Dynamic Typography: Bringing Text to Life via Video Diffusion Prior [73.72522617586593]
動的タイポグラフィー(Dynamic Typography)と呼ばれる自動テキストアニメーション方式を提案する。
意味的意味を伝えるために文字を変形させ、ユーザプロンプトに基づいて活気ある動きを注入する。
本手法は,ベクトルグラフィックス表現とエンドツーエンド最適化に基づくフレームワークを利用する。
論文 参考訳（メタデータ） (2024-04-17T17:59:55Z) - AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。
外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。
時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
論文 参考訳（メタデータ） (2023-12-06T13:39:35Z) - Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation [27.700371215886683]
拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。
本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。
トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
論文 参考訳（メタデータ） (2023-11-28T12:27:15Z) - MagicAnimate: Temporally Consistent Human Image Animation using
Diffusion Model [74.84435399451573]
本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。
既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。
MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
論文 参考訳（メタデータ） (2023-11-27T18:32:31Z) - AnimateAnything: Fine-Grained Open Domain Image Animation with Motion
Guidance [13.416296247896042]
本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。
本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。
オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-11-21T03:47:54Z) - Regenerating Arbitrary Video Sequences with Distillation Path-Finding [6.687073794084539]
本稿では,開始フレーム上でユーザの好みに応じて新しいシーケンスを生成するインタラクティブなフレームワークを提案する。
これを効果的に実現するために、まず、提案ネットワークであるRCFNetを用いて、与えられたビデオのフレームセットの特徴相関を学習する。
そこで我々は,ソースビデオの動作方向の知識を定式化し,スムーズかつ妥当なシーケンスを推定する新しいパスフィニングアルゴリズム,SDPFを開発した。
論文 参考訳（メタデータ） (2023-11-13T09:05:30Z) - DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors [63.43133768897087]
オープンドメイン画像をアニメーションビデオに変換する手法を提案する。
鍵となるアイデアは、画像を生成プロセスに組み込むことで、テキストからビデオへの拡散モデルに先立っての動きを活用することである。
提案手法は視覚的に説得力があり、より論理的で自然な動きが得られ、入力画像への適合性が向上する。
論文 参考訳（メタデータ） (2023-10-18T14:42:16Z) - Deep Animation Video Interpolation in the Wild [115.24454577119432]
本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。
効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。
特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
論文 参考訳（メタデータ） (2021-04-06T13:26:49Z) - Going beyond Free Viewpoint: Creating Animatable Volumetric Video of
Human Performances [7.7824496657259665]
本稿では,人間の演奏の高品質な映像コンテンツ作成のためのエンドツーエンドパイプラインを提案する。
セマンティックエンリッチメントと幾何学的アニメーション能力は、3Dデータに時間的一貫性を確立することによって達成される。
ポーズ編集では、キャプチャしたデータを可能な限り活用し、キャプチャしたフレームをキネマティックに変形して所望のポーズに適合させる。
論文 参考訳（メタデータ） (2020-09-02T09:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。