論文の概要: TapMo: Shape-aware Motion Generation of Skeleton-free Characters
- arxiv url: http://arxiv.org/abs/2310.12678v1
- Date: Thu, 19 Oct 2023 12:14:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 15:24:44.781404
- Title: TapMo: Shape-aware Motion Generation of Skeleton-free Characters
- Title（参考訳）: TapMo: 無骨格文字の形状認識運動生成
- Authors: Jiaxu Zhang, Shaoli Huang, Zhigang Tu, Xin Chen, Xiaohang Zhan, Gang
Yu, Ying Shan
- Abstract要約: 骨格のない3Dキャラクタの広帯域における動作のためのテキスト駆動アニメーションパイプラインであるTapMoを提案する。
TapMoはMesh Handle PredictorとShape-aware Diffusion Moduleの2つの主要コンポーネントで構成されている。
- 参考スコア（独自算出の注目度）: 64.83230289993145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Previous motion generation methods are limited to the pre-rigged 3D human
model, hindering their applications in the animation of various non-rigged
characters. In this work, we present TapMo, a Text-driven Animation Pipeline
for synthesizing Motion in a broad spectrum of skeleton-free 3D characters. The
pivotal innovation in TapMo is its use of shape deformation-aware features as a
condition to guide the diffusion model, thereby enabling the generation of
mesh-specific motions for various characters. Specifically, TapMo comprises two
main components - Mesh Handle Predictor and Shape-aware Diffusion Module. Mesh
Handle Predictor predicts the skinning weights and clusters mesh vertices into
adaptive handles for deformation control, which eliminates the need for
traditional skeletal rigging. Shape-aware Motion Diffusion synthesizes motion
with mesh-specific adaptations. This module employs text-guided motions and
mesh features extracted during the first stage, preserving the geometric
integrity of the animations by accounting for the character's shape and
deformation. Trained in a weakly-supervised manner, TapMo can accommodate a
multitude of non-human meshes, both with and without associated text motions.
We demonstrate the effectiveness and generalizability of TapMo through rigorous
qualitative and quantitative experiments. Our results reveal that TapMo
consistently outperforms existing auto-animation methods, delivering
superior-quality animations for both seen or unseen heterogeneous 3D
characters.
- Abstract（参考訳）: 従来のモーション生成手法はプリリグド3dモデルに限定されており、様々な非リグドキャラクタのアニメーションへの応用を妨げている。
本稿では,スケルトンフリーな3dキャラクタの幅広いスペクトルにおける動きを合成するテキスト駆動アニメーションパイプラインであるtapmoを提案する。
tapmoの重要な革新は、拡散モデルを導く条件として形状変形認識機能を使用することで、様々な文字のメッシュ特有の動きを生成することができることである。
具体的には、TapMoはMesh Handle PredictorとShape-aware Diffusion Moduleの2つの主要コンポーネントで構成されている。
メッシュハンドラ予測器は、スキンの重みとクラスタのメッシュ頂点を変形制御のための適応ハンドルに予測する。
形状認識運動拡散はメッシュ固有の適応で動きを合成する。
このモジュールは、第1段階で抽出されたテキスト誘導モーションとメッシュ機能を使用し、キャラクターの形状と変形を考慮してアニメーションの幾何学的整合性を保つ。
弱い教師付きで訓練されたTapMoは、テキストの動きを伴わずとも、複数の人間以外のメッシュを扱える。
厳密な定性的および定量的実験によるTapMoの有効性と一般化性を示す。
以上の結果から,TapMoは既存の自動アニメーション手法を一貫して上回り,不均質な3Dキャラクタに高品質なアニメーションを提供することがわかった。
関連論文リスト
- Towards High-Quality 3D Motion Transfer with Realistic Apparel Animation [69.36162784152584]
本研究では,現実的なアパレルアニメーションを用いた高品質な動き伝達を目的とした新しい手法を提案する。
本稿では,2つのニューラル変形モジュールを介し,物体とアパレルの変形を学習するデータ駆動パイプラインを提案する。
本手法は各種アパレルの品質に優れた結果をもたらす。
論文 参考訳（メタデータ） (2024-07-15T22:17:35Z) - MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。
MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。
トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
論文 参考訳（メタデータ） (2023-12-08T16:31:04Z) - AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models
without Specific Tuning [92.33690050667475]
AnimateDiffは、モデル固有のチューニングを必要とせずに、パーソナライズされたT2Iモデルをアニメーションするためのフレームワークである。
我々は,AnimateDiffの軽量微調整技術であるMotionLoRAを提案する。
その結果,これらのモデルが視覚的品質と動きの多様性を保ちながら,時間的にスムーズなアニメーションクリップを生成するのに有効であることが示唆された。
論文 参考訳（メタデータ） (2023-07-10T17:34:16Z) - FLAME: Free-form Language-based Motion Synthesis & Editing [17.70085940884357]
FLAMEと呼ばれる拡散型モーション合成・編集モデルを提案する。
FLAMEは、与えられたテキストによく整合した高忠実な動作を生成することができる。
フレームワイドでもジョイントワイドでも、微調整なしで動きの一部を編集できます。
論文 参考訳（メタデータ） (2022-09-01T10:34:57Z) - MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。
複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。
体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
論文 参考訳（メタデータ） (2022-08-31T17:58:54Z) - HuMoR: 3D Human Motion Model for Robust Pose Estimation [100.55369985297797]
HuMoRは、時間的ポーズと形状のロバスト推定のための3Dヒューマンモーションモデルです。
モーションシーケンスの各ステップにおけるポーズの変化の分布を学習する条件付き変分オートエンコーダについて紹介する。
本モデルが大規模モーションキャプチャーデータセットのトレーニング後に多様な動きや体型に一般化することを示す。
論文 参考訳（メタデータ） (2021-05-10T21:04:55Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳（メタデータ） (2021-05-04T23:28:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。