論文の概要: Generative Motion Stylization within Canonical Motion Space
- arxiv url: http://arxiv.org/abs/2403.11469v1
- Date: Mon, 18 Mar 2024 04:41:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 16:36:25.777544
- Title: Generative Motion Stylization within Canonical Motion Space
- Title(参考訳): 標準運動空間における生成運動スティル化
- Authors: Jiaxu Zhang, Xin Chen, Gang Yu, Zhigang Tu,
- Abstract要約: 本研究では,多種多様かつ多種多様な構造体上での動作に対して,モーションスタイリングパイプライン(MotionS)を提案する。
私たちの重要な洞察は、モーションスタイルをモダリティのラテント空間に埋め込むことで、標準モーション空間内でのモーションスタイリングを可能にします。
- 参考スコア(独自算出の注目度): 28.628241993271647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stylized motion breathes life into characters. However, the fixed skeleton structure and style representation hinder existing data-driven motion synthesis methods from generating stylized motion for various characters. In this work, we propose a generative motion stylization pipeline, named MotionS, for synthesizing diverse and stylized motion on cross-structure characters using cross-modality style prompts. Our key insight is to embed motion style into a cross-modality latent space and perceive the cross-structure skeleton topologies, allowing for motion stylization within a canonical motion space. Specifically, the large-scale Contrastive-Language-Image-Pre-training (CLIP) model is leveraged to construct the cross-modality latent space, enabling flexible style representation within this space. Additionally, two topology-encoded tokens are learned to capture the canonical and specific skeleton topologies, facilitating cross-structure topology shifting. Subsequently, the topology-shifted stylization diffusion is designed to generate motion content for the specific skeleton and stylize it in the shifted canonical motion space using multi-modality style descriptions. Through an extensive set of examples, we demonstrate the flexibility and generalizability of our pipeline across various characters and style descriptions. Qualitative and quantitative experiments underscore the superiority of our pipeline over state-of-the-art methods, consistently delivering high-quality stylized motion across a broad spectrum of skeletal structures.
- Abstract(参考訳): スティル化された動きは、人生をキャラクターに息を吹き込む。
しかし、固定された骨格構造とスタイル表現は、既存のデータ駆動型モーション合成法において、様々な文字に対するスタイル化されたモーションを生成することを妨げている。
本研究では,クロスモーダルなスタイルのプロンプトを用いて,多種多様でスタイリングされた動作をクロス構造文字に合成する,MotionSと呼ばれる生成型モーションスタイリングパイプラインを提案する。
我々の重要な洞察は、運動スタイルをモダリティのラテント空間に埋め込んで、クロス構造骨格のトポロジーを知覚し、標準運動空間内での運動スタイル化を可能にすることである。
具体的には、大規模なContrastive-Language-Image-Pre-Training(CLIP)モデルを利用して、クロスモダリティ潜在空間を構築し、この空間内で柔軟なスタイル表現を可能にする。
さらに、2つのトポロジエンコードされたトークンが学習され、標準および特定の骨格トポロジを捕捉し、クロス構造トポロジシフトを促進する。
その後、トポロジシフトされたスタイリゼーション拡散は、特定の骨格の運動内容を生成し、マルチモーダルスタイル記述を用いてシフトした標準運動空間でスタイリゼーションするように設計されている。
広範な例を通して、さまざまなキャラクタとスタイル記述にまたがるパイプラインの柔軟性と一般化性を実証する。
定性的かつ定量的な実験は、最先端の手法よりもパイプラインの優位性を強調し、幅広い骨格構造を横断する高品質なスタイル化された動きを一貫して提供する。
関連論文リスト
- Generative Human Motion Stylization in Latent Space [42.831468727082694]
単一動作(遅延)符号の多種多様なスタイリング結果を生成する新しい生成モデルを提案する。
推論では、ユーザーは参照動作やラベルからスタイルキューを使用して動きをスタイル化することができる。
提案手法は, 軽量な設計にもかかわらず, スタイル再現, コンテンツ保存, 一般化において, 最先端のスタイリングモデルよりも優れていた。
論文 参考訳(メタデータ) (2024-01-24T14:53:13Z) - MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。
MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。
トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
論文 参考訳(メタデータ) (2023-12-08T16:31:04Z) - DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。
既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。
動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
論文 参考訳(メタデータ) (2023-12-07T04:39:22Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳(メタデータ) (2022-06-16T09:06:25Z) - Neural Marionette: Unsupervised Learning of Motion Skeleton and Latent
Dynamics from Volumetric Video [5.456297943378056]
本稿では、動的シーケンスから骨格構造を検出する教師なしアプローチであるNeural Marionetteを提案する。
得られた構造は、4次元の運動列を表す骨格のハンドラベルされた基底真理にさえ匹敵するものであることを実証する。
論文 参考訳(メタデータ) (2022-02-17T02:44:16Z) - Motion Puzzle: Arbitrary Motion Style Transfer by Body Part [6.206196935093063]
モーション・パズル(Motion Puzzle)は、いくつかの重要な点において最先端のモーション・スタイル・トランスファー・ネットワークである。
本フレームワークは,異なる身体部位に対する複数のスタイル動作からスタイル特徴を抽出し,対象身体部位に局所的に伝達する。
フラッピングやスタッガーのようなダイナミックな動きによって表現されるスタイルを、以前の作品よりもはるかに良く捉えることができる。
論文 参考訳(メタデータ) (2022-02-10T19:56:46Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳(メタデータ) (2021-05-04T23:28:55Z) - Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。
提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。
大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
論文 参考訳(メタデータ) (2020-08-24T02:11:02Z) - Euclideanizing Flows: Diffeomorphic Reduction for Learning Stable
Dynamical Systems [74.80320120264459]
本研究では、限られた数の人間の実演からそのような動きを学ぶためのアプローチを提案する。
複素運動は安定な力学系のロールアウトとして符号化される。
このアプローチの有効性は、確立されたベンチマーク上での検証と、現実世界のロボットシステム上で収集されたデモによって実証される。
論文 参考訳(メタデータ) (2020-05-27T03:51:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。