論文の概要: MikuDance: Animating Character Art with Mixed Motion Dynamics
- arxiv url: http://arxiv.org/abs/2411.08656v2
- Date: Thu, 14 Nov 2024 14:11:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-15 11:44:48.361205
- Title: MikuDance: Animating Character Art with Mixed Motion Dynamics
- Title（参考訳）: MikuDance: モーションダイナミクスによるキャラクターアートのアニメーション
- Authors: Jiaxu Zhang, Xianfang Zeng, Xin Chen, Wei Zuo, Gang Yu, Zhigang Tu,
- Abstract要約: そこで我々は,混合運動力学を取り入れた拡散型パイプラインであるMikuDanceを提案し,キャラクターアートをアニメーション化する。
具体的には、動的カメラをピクセル単位の空間で明示的にモデル化し、一貫したキャラクターシーンのモーションモデリングを可能にするシーンモーショントラッキング戦略を示す。
モーション適応正規化モジュールは、グローバルなシーン動作を効果的に注入するために組み込まれ、総合的なキャラクターアートアニメーションの道を開く。
- 参考スコア（独自算出の注目度）: 28.189884806755153
- License:
- Abstract: We propose MikuDance, a diffusion-based pipeline incorporating mixed motion dynamics to animate stylized character art. MikuDance consists of two key techniques: Mixed Motion Modeling and Mixed-Control Diffusion, to address the challenges of high-dynamic motion and reference-guidance misalignment in character art animation. Specifically, a Scene Motion Tracking strategy is presented to explicitly model the dynamic camera in pixel-wise space, enabling unified character-scene motion modeling. Building on this, the Mixed-Control Diffusion implicitly aligns the scale and body shape of diverse characters with motion guidance, allowing flexible control of local character motion. Subsequently, a Motion-Adaptive Normalization module is incorporated to effectively inject global scene motion, paving the way for comprehensive character art animation. Through extensive experiments, we demonstrate the effectiveness and generalizability of MikuDance across various character art and motion guidance, consistently producing high-quality animations with remarkable motion dynamics.
- Abstract（参考訳）: そこで本研究では,混合運動力学を取り入れた拡散型パイプラインであるMikuDanceを提案する。
MikuDanceは2つの重要な技術で構成されている: 混合運動モデリングと混合制御拡散(Mixed-Control Diffusion)は、キャラクターアートアニメーションにおけるハイダイナミックモーションと参照誘導ミスアライメントの課題に対処する。
具体的には、動的カメラをピクセル単位の空間で明示的にモデル化し、一貫したキャラクターシーンのモーションモデリングを可能にするシーンモーショントラッキング戦略を示す。
ミックス・コントロル拡散(Mixed-Control Diffusion)は、様々なキャラクターのスケールと体型を動き誘導で暗黙的に調整し、局所的なキャラクターの動きを柔軟に制御する。
その後、モーション適応正規化モジュールが組み込まれ、グローバルなシーン動作を効果的に注入し、総合的なキャラクターアートアニメーションの道を開く。
広範にわたる実験を通じて,様々なキャラクターアートやモーションガイダンスにまたがるMikuDanceの有効性と一般化性を実証し,優れたモーションダイナミクスを備えた高品質なアニメーションを一貫して生成する。
関連論文リスト
- Animate-X: Universal Character Image Animation with Enhanced Motion Representation [42.73097432203482]
Animate-X は LDM をベースとした汎用アニメーションフレームワークであり、人為的文字を含む様々な文字タイプに対応している。
我々は、暗黙的かつ明示的な方法で、運転映像から包括的な動きパターンをキャプチャするPose Indicatorを紹介した。
また,アニメーション画像におけるAnimate-Xの性能を評価するために,新しいアニメーション擬人化ベンチマークを導入する。
論文 参考訳（メタデータ） (2024-10-14T09:06:55Z) - Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。
テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
論文 参考訳（メタデータ） (2024-08-08T17:59:38Z) - Towards High-Quality 3D Motion Transfer with Realistic Apparel Animation [69.36162784152584]
本研究では,現実的なアパレルアニメーションを用いた高品質な動き伝達を目的とした新しい手法を提案する。
本稿では,2つのニューラル変形モジュールを介し,物体とアパレルの変形を学習するデータ駆動パイプラインを提案する。
本手法は各種アパレルの品質に優れた結果をもたらす。
論文 参考訳（メタデータ） (2024-07-15T22:17:35Z) - Animate Your Motion: Turning Still Images into Dynamic Videos [58.63109848837741]
本稿では,マルチモーダル入力を管理する新しい手法であるScene and Motion Conditional Diffusion (SMCD)を紹介する。
SMCDは、認識されたモーションコンディショニングモジュールを組み込み、シーン条件を統合するための様々なアプローチを調査する。
我々のデザインは映像の品質、動きの精度、セマンティック・コヒーレンスを大幅に向上させる。
論文 参考訳（メタデータ） (2024-03-15T10:36:24Z) - MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。
MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。
トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
論文 参考訳（メタデータ） (2023-12-08T16:31:04Z) - Learning Motion Refinement for Unsupervised Face Animation [45.807582064277305]
教師なしの顔アニメーションは、原画像の外観に基づいて人間の顔映像を生成し、運転映像の動作を模倣することを目的としている。
既存の手法では、通常、先行した動きモデル(例えば、局所的なアフィン運動モデルや局所的な薄板・スプライン運動モデル)を採用する。
本研究では、粗い動きと細い動きを同時に学習するための、教師なしの顔アニメーション手法を設計する。
論文 参考訳（メタデータ） (2023-10-21T05:52:25Z) - TapMo: Shape-aware Motion Generation of Skeleton-free Characters [64.83230289993145]
骨格のない3Dキャラクタの広帯域における動作のためのテキスト駆動アニメーションパイプラインであるTapMoを提案する。
TapMoはMesh Handle PredictorとShape-aware Diffusion Moduleの2つの主要コンポーネントで構成されている。
論文 参考訳（メタデータ） (2023-10-19T12:14:32Z) - Motion Puzzle: Arbitrary Motion Style Transfer by Body Part [6.206196935093063]
モーション・パズル(Motion Puzzle)は、いくつかの重要な点において最先端のモーション・スタイル・トランスファー・ネットワークである。
本フレームワークは,異なる身体部位に対する複数のスタイル動作からスタイル特徴を抽出し,対象身体部位に局所的に伝達する。
フラッピングやスタッガーのようなダイナミックな動きによって表現されるスタイルを、以前の作品よりもはるかに良く捉えることができる。
論文 参考訳（メタデータ） (2022-02-10T19:56:46Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳（メタデータ） (2021-05-04T23:28:55Z) - Self-supervised Motion Learning from Static Images [36.85209332144106]
Motion from Static Images (MoSI) はモーション情報をエンコードすることを学ぶ。
MoSIは、下流のデータセットを微調整することなく、大きな動きを持つ領域を発見することができる。
下流のデータセットを微調整することなく、MoSIが大きな動きを持つ領域を発見できることを実証します。
論文 参考訳（メタデータ） (2021-04-01T03:55:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。