論文の概要: MotionMaestro: Masked Tokenization for Unified Motion Generation
- arxiv url: http://arxiv.org/abs/2609.37495v1
- Date: Sat, 26 Sep 2026 14:02:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.527214
- Title: MotionMaestro: Masked Tokenization for Unified Motion Generation
- Title(参考訳): MotionMaestro: 統一モーション生成のための仮面トークン化
- Abstract要約: 完全運動と異種部分観察の共有表現を学習する統合運動生成フレームワークであるMotionMaestroを紹介する。
MotionMaestroはテキスト誘導と無条件合成、ポーズ条件付けと部分補完、時間的、軌道制御、動き継続をサポートする。
大規模なRoMoデータセットとMotionMillionデータセットの実験は、さまざまなモーション生成タスクにおける最先端のパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 30.16840983345016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human motion generation plays an important role in applications such as character animation, virtual environments, and embodied interaction. While existing approaches have achieved remarkable progress, many of them are developed for individual tasks, including text-to-motion, pose-conditioned generation, and trajectory control. Although these tasks involve different types of conditions, a unified framework capable of handling them within a common representation would greatly simplify motion generation systems. We observe that diverse motion conditions can be naturally formulated as different observation patterns over motion sequences, where each task corresponds to a specific masking strategy. Based on this insight, we introduce MotionMaestro, a unified motion generation framework that learns a shared representation for complete motions and heterogeneous partial observations through masked motion tokenization. MotionMaestro employs a three-stage training strategy that first learns a masked motion tokenizer, then refines its reconstruction ability on clean motions, and finally trains a conditional flow-matching generator in the learned latent space. Furthermore, we introduce an observation map and an observation loss to explicitly preserve provided motion conditions during generation. With this unified representation and conditioning mechanism, MotionMaestro supports text-guided and unconditional synthesis, pose conditioning and partial completion, temporal interpolation, trajectory control, and motion continuation. Experiments on the large-scale RoMo and MotionMillion datasets show state-of-the-art performance across diverse motion generation tasks.
- Abstract(参考訳): ヒューマンモーション生成は、キャラクターアニメーション、仮想環境、具体的相互作用などのアプリケーションにおいて重要な役割を果たす。
既存のアプローチは目覚ましい進歩を遂げているが、多くはテキスト・トゥ・モーション、ポーズ条件付き生成、軌道制御など、個々のタスクのために開発されている。
これらのタスクには異なる種類の条件が含まれるが、共通の表現内でそれらを処理できる統一されたフレームワークは、モーション生成システムを大幅に単純化する。
我々は,各タスクが特定のマスキング戦略に対応するような,動作シーケンスの異なる観察パターンとして,多様な動作条件を自然に定式化することができることを観察した。
この知見に基づいて、マスク付きモーショントークン化により、完全なモーションと異種部分観察の共有表現を学習する、統合されたモーション生成フレームワークであるMotionMaestroを紹介する。
MotionMaestroは3段階のトレーニング戦略を採用し、まずマスク付きモーショントークンーを学習し、次にクリーンなモーションで再現能力を洗練し、最後に学習された潜在空間で条件付きフローマッチングジェネレータを訓練する。
さらに, 生成時の動作条件を明確に保つために, 観測マップと観測損失を導入する。
この統一された表現と条件付け機構により、MotionMaestroはテキスト誘導および無条件合成、ポーズ条件付けと部分補完、時間的補間、軌道制御、動き継続をサポートする。
大規模なRoMoデータセットとMotionMillionデータセットの実験は、さまざまなモーション生成タスクにおける最先端のパフォーマンスを示している。
関連論文リスト
- Beyond MoCap: Scaling Motion Tokenizers with Synthetic Human Motion for Generative Modeling [32.83313595986613]
本研究では,大規模合成人間の動きを利用して,動きの表現空間を拡大する枠組みを提案する。
狭義のデータ分布で訓練された従来のトークン化ツールとは異なり,本手法はトレーニング分布と離散コードブックの両方を共同でスケールする。
合成運動を用いた学習が学習運動語彙のカバレッジと構成性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2026-06-25T20:50:31Z) - Training-free Motion Factorization for Compositional Video Generation [57.819757612370374]
複雑な動きを3つの主要カテゴリに分解する運動因子化フレームワークを提案する。
本フレームワークは,実世界のベンチマークにおいて,動作合成における印象的な性能を実現する。
論文 参考訳(メタデータ) (2026-03-10T02:27:48Z) - MotionVerse: A Unified Multimodal Framework for Motion Comprehension, Generation and Editing [53.98607267063729]
MotionVerseは、シングルパーソンとマルチパーソンの両方のシナリオで人間の動作を理解し、生成し、編集するフレームワークである。
我々は、連続的な動き列をマルチストリーム離散トークンに変換する残差量子化を伴う動きトークン化器を用いる。
また、残留トークンストリームの符号化を時間的に停滞させる textitDelay Parallel Modeling 戦略も導入する。
論文 参考訳(メタデータ) (2025-09-28T04:20:56Z) - GENMO: A GENeralist Model for Human MOtion [64.16188966024542]
本稿では,1つのフレームワークで動作推定と生成を橋渡しする汎用人体運動モデル GENMO を提案する。
我々の重要な洞察は、出力運動が観測された条件信号を正確に満たさなければならないような制約された動き生成として運動推定を再構成することである。
我々の新しいアーキテクチャは、可変長動きと混合マルチモーダル条件(テキスト、オーディオ、ビデオ)を異なる時間間隔で処理し、柔軟な制御を提供する。
論文 参考訳(メタデータ) (2025-05-02T17:59:55Z) - DiverseMotion: Towards Diverse Human Motion Generation via Discrete
Diffusion [70.33381660741861]
テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。
我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
論文 参考訳(メタデータ) (2023-09-04T05:43:48Z) - Motion In-Betweening with Phase Manifolds [29.673541655825332]
本稿では,周期的オートエンコーダによって学習された位相変数を利用して,文字のターゲットポーズに到達するための,新たなデータ駆動型動作制御システムを提案する。
提案手法では,経験的ニューラルネットワークモデルを用いて,空間と時間の両方のクラスタの動きを,異なる専門家の重みで解析する。
論文 参考訳(メタデータ) (2023-08-24T12:56:39Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳(メタデータ) (2022-06-16T09:06:25Z) - Weakly-supervised Action Transition Learning for Stochastic Human Motion
Prediction [81.94175022575966]
動作駆動型人間の動作予測の課題について紹介する。
一連の動作ラベルと短い動作履歴から、複数の可算な将来の動作を予測することを目的としている。
論文 参考訳(メタデータ) (2022-05-31T08:38:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。