論文の概要: FlexiClip: Locality-Preserving Free-Form Character Animation

• arxiv url: http://arxiv.org/abs/2501.08676v1
• Date: Wed, 15 Jan 2025 09:07:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:51:46.130407
• Title: FlexiClip: Locality-Preserving Free-Form Character Animation
• Title（参考訳）: FlexiClip: ローカル保存フリーな文字アニメーション
• Authors: Anant Khandelwal,
• Abstract要約: AniClipartのような既存の手法は、幾何学的変形を効果的にモデル化するが、しばしばスムーズな時間遷移を保証するのに失敗する。 本稿では,時間的整合性や幾何的整合性といった課題に対処することで,これらの制約を克服する新しいアプローチであるFlexiClipを紹介する。
• 参考スコア（独自算出の注目度）: 14.50214193838818
• License:
• Abstract: Animating clipart images with seamless motion while maintaining visual fidelity and temporal coherence presents significant challenges. Existing methods, such as AniClipart, effectively model spatial deformations but often fail to ensure smooth temporal transitions, resulting in artifacts like abrupt motions and geometric distortions. Similarly, text-to-video (T2V) and image-to-video (I2V) models struggle to handle clipart due to the mismatch in statistical properties between natural video and clipart styles. This paper introduces FlexiClip, a novel approach designed to overcome these limitations by addressing the intertwined challenges of temporal consistency and geometric integrity. FlexiClip extends traditional B\'ezier curve-based trajectory modeling with key innovations: temporal Jacobians to correct motion dynamics incrementally, continuous-time modeling via probability flow ODEs (pfODEs) to mitigate temporal noise, and a flow matching loss inspired by GFlowNet principles to optimize smooth motion transitions. These enhancements ensure coherent animations across complex scenarios involving rapid movements and non-rigid deformations. Extensive experiments validate the effectiveness of FlexiClip in generating animations that are not only smooth and natural but also structurally consistent across diverse clipart types, including humans and animals. By integrating spatial and temporal modeling with pre-trained video diffusion models, FlexiClip sets a new standard for high-quality clipart animation, offering robust performance across a wide range of visual content. Project Page: https://creative-gen.github.io/flexiclip.github.io/
• Abstract（参考訳）: 視覚的忠実度と時間的コヒーレンスを維持しながら、シームレスな動きでクリップアート画像をアニメーション化することは、大きな課題である。 AniClipartのような既存の手法は、空間的変形を効果的にモデル化するが、しばしばスムーズな時間的遷移を保証することができず、急激な動きや幾何学的歪みのようなアーティファクトをもたらす。 同様に、テキスト・トゥ・ビデオ(T2V)と画像・トゥ・ビデオ(I2V)モデルは、自然なビデオとクリップアートスタイルの統計的性質のミスマッチのため、クリップアートを扱うのに苦労する。 本稿では,時間的整合性や幾何的整合性といった課題に対処することで,これらの制約を克服する新しいアプローチであるFlexiClipを紹介する。 FlexiClipは、従来のB\'ezier曲線に基づく軌道モデリングを、運動力学を漸進的に補正する時間的ジャコビアン、確率フローODE(pfODE)による連続時間モデリング、GFlowNetの原則にインスパイアされたフローマッチング損失など、重要な革新とともに拡張している。 これらの拡張により、高速な動きや非剛体変形を含む複雑なシナリオをまたいだコヒーレントなアニメーションが保証される。 広範囲にわたる実験は、滑らかで自然なだけでなく、人間や動物を含む様々なクリップアートタイプにまたがって構造的に整合したアニメーションを生成する上で、FlexiClipの有効性を検証する。 空間的および時間的モデリングと事前訓練されたビデオ拡散モデルを統合することで、FlexiClipは高品質なクリップアートアニメーションの新しい標準を設定し、幅広いビジュアルコンテンツに対して堅牢なパフォーマンスを提供する。 Project Page: https://creative-gen.github.io/flexiclip.github.io/

関連論文リスト

• TVG: A Training-free Transition Video Generation Method with Diffusion Models [12.037716102326993]
  遷移ビデオはメディア制作において重要な役割を担い、視覚的物語の流れとコヒーレンスを高める。 拡散モデルに基づくビデオ生成の最近の進歩は、トランジションを作成する新しい可能性を提供するが、フレーム間の関係モデリングの貧弱や突然のコンテンツ変更といった課題に直面している。 本稿では,これらの制約に対処するビデオレベルの拡散モデルを用いて,新たなトレーニング不要な遷移ビデオ生成(TVG)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-24T00:33:14Z)
• UniAnimate: Taming Unified Video Diffusion Models for Consistent Human Image Animation [53.16986875759286]
  We present a UniAnimate framework to enable efficient and long-term human video generation。 我々は、姿勢案内やノイズビデオとともに参照画像を共通の特徴空間にマッピングする。 また、ランダムノイズ入力と第1フレーム条件入力をサポートする統一ノイズ入力を提案する。
  論文  参考訳（メタデータ） (2024-06-03T10:51:10Z)
• AniClipart: Clipart Animation with Text-to-Video Priors [28.76809141136148]
  本稿では,静的アニメーションをテキストからビデオへの誘導による高品質なアニメーションに変換する計算システムAniClipartを紹介する。 As-Rigid-As-Possible(ARAP)形状の変形とレンダリングの差別化により、AniClipartは剛性を維持しながらエンドツーエンドで最適化できる。
  論文  参考訳（メタデータ） (2024-04-18T17:24:28Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• ControlVideo: Training-free Controllable Text-to-Video Generation [117.06302461557044]
  ControlVideoは、自然で効率的なテキスト・ビデオ生成を可能にするフレームワークである。 NVIDIA 2080Tiを使って、ショートビデオとロングビデオの両方を数分で生成する。
  論文  参考訳（メタデータ） (2023-05-22T14:48:53Z)
• Learning Fine-Grained Motion Embedding for Landscape Animation [140.57889994591494]
  ファイングラインド・モーション・埋め込みを学習し,高品質でリアルな映像を生成するモデルFGLAを提案する。 多様なタイムラプスビデオのトレーニングと評価を行うため、Diverseのシーンを用いた最大の高解像度タイムラプスビデオデータセットを構築した。 提案手法は,LIPISが19%,FVDが5.6%向上した。
  論文  参考訳（メタデータ） (2021-09-06T02:47:11Z)
• Deep Animation Video Interpolation in the Wild [115.24454577119432]
  本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。 効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。 特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
  論文  参考訳（メタデータ） (2021-04-06T13:26:49Z)
• Going beyond Free Viewpoint: Creating Animatable Volumetric Video of Human Performances [7.7824496657259665]
  本稿では,人間の演奏の高品質な映像コンテンツ作成のためのエンドツーエンドパイプラインを提案する。 セマンティックエンリッチメントと幾何学的アニメーション能力は、3Dデータに時間的一貫性を確立することによって達成される。 ポーズ編集では、キャプチャしたデータを可能な限り活用し、キャプチャしたフレームをキネマティックに変形して所望のポーズに適合させる。
  論文  参考訳（メタデータ） (2020-09-02T09:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。