論文の概要: MoVT: Video-Augmented Motion Tokenizer for Text-to-Motion Generation
- arxiv url: http://arxiv.org/abs/2609.14965v1
- Date: Mon, 14 Sep 2026 03:15:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.040811
- Title: MoVT: Video-Augmented Motion Tokenizer for Text-to-Motion Generation
- Title（参考訳）: MoVT:テキスト・トゥ・モーション・ジェネレーションのためのビデオ強化モーション・トケナイザ
- Abstract要約: MoVTは、人間のアクションビデオの範囲を効果的に活用し、テキスト・ツー・モーション・ジェネレーションを強化する新しいフレームワークである。
クロスモーダルな拡張モーショントークンーは、離散的な3Dモーショントークンを2Dドメインに投影する。
マスク付きトランスフォーマーは、モダリティに依存しない方法でマスクされた動きトークンの指標を予測する。
- 参考スコア（独自算出の注目度）: 31.245315012977127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-driven 3D human motion generation models face significant challenges in responding to diverse and unconstrained textual prompts, primarily due to the limited availability of 3D motion training data. To address this, we introduce MoVT, a novel framework that effectively leverages the extensive range of human action videos to enhance text-to-motion generation. At the core of our approach is the cross-modal augmented motion tokenizer, which projects discrete 3D motion tokens into the 2D domain. This projection allows us to enrich the motion codebook with complex, real-world motion patterns derived from videos. The enriched discrete tokens are then mapped back to the 3D domain, resulting in aligned 3D and 2D codebooks with an enhanced capacity to represent intricate motions. These enhanced codebooks are integrated into a generative masked transformer, which predicts masked motion token indices in a modality-agnostic manner. This enables the use of text-index pairs, generated from the 2D codebook and annotated motion videos, to further enhance the generator. Extensive empirical evaluations show that MoVT performs favorably against prior state-of-the-art methods across multiple key metrics.
- Abstract（参考訳）: テキスト駆動型3Dモーション生成モデルは、多種多様な制約のないテキストプロンプトに対応する上で重要な課題に直面している。
そこで本研究では,テキスト・ツー・モーション・ジェネレーションを効果的に活用する新しいフレームワークであるMoVTを紹介する。
我々のアプローチの核となるのは、離散的な3Dモーショントークンを2Dドメインに投影するクロスモーダル・モーション・トークンーザである。
このプロジェクションにより、ビデオから派生した複雑な実世界のモーションパターンで、モーションコードブックを強化できます。
拡張された離散トークンは3Dドメインにマッピングされ、3Dと2Dのコードブックが整列し、複雑な動きを表す能力が強化される。
これらの拡張されたコードブックは、マスクされたモーショントークンのインデックスをモダリティに依存しない方法で予測する生成的なマスク付きトランスフォーマーに統合される。
これにより、2Dコードブックとアノテーション付きモーションビデオから生成されたテキスト-インデックスペアを使用することで、ジェネレータをさらに強化することができる。
大規模な経験的評価は、MoVTが複数の主要な指標をまたいだ先行技術手法に対して好適に機能していることを示している。
関連論文リスト
- AnimaSpark: A Feed-Forward Method for Animating Arbitrary 3D Objects [9.201202105097991]
カテゴリーに依存しないアニメーション生成の現在の手法は、推論速度、運動品質、テキストプロンプトへの付着に限界がある。
本稿では,カテゴリに依存しない3Dアニメーション生成のための新しいパイプラインであるAnimaSparkを紹介する。
本手法は,テキスト・モーションアライメント,動きの質,計算効率など,従来の最先端技術よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2026-06-09T15:25:39Z) - DrawMotion: Generating 3D Human Motions by Freehand Drawing [64.44582376360027]
本稿では,多条件シナリオ用に設計された効率的な拡散ベースのフレームワークであるDrawMotionを紹介する。
我々は,1)フリーハンドドローイング条件,2)マルチコンディション融合,3)トレーニングフリーガイダンスの3つの視点から,きめ細かな動作生成タスクに取り組む。
実験とユーザスタディにより、フリーハンドドローイングアプローチは、イマジネーションに沿った動きを生成すると、ユーザ時間を約46.7%削減することが示された。
論文 参考訳（メタデータ） (2026-05-20T09:43:50Z) - BiMotion: B-spline Motion for Text-guided Dynamic 3D Character Generation [31.077229364298443]
テキストガイドによる動的3Dキャラクタ生成は急速に進歩しているが、リッチなテキスト記述を忠実に反映した高品質なモーションを生成することは依然として困難である。
既存の手法では、固定長の時間入力と、リッチな動きのセマンティクスを捉えるのに失敗する離散的なフレームワイズ表現により、限られたサブアクションや非コヒーレントな動きを生成する傾向がある。
連続的な微分可能なB-スプライン曲線で動きを表現することでこれらの制約に対処し、基礎となる生成モデルの能力を変更することなくより効果的な動き生成を可能にする。
論文 参考訳（メタデータ） (2026-02-21T15:40:37Z) - IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。
本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。
本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
論文 参考訳（メタデータ） (2026-02-07T11:17:20Z) - UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework [54.337290937468175]
統合された枠組み内での2次元映像と3次元映像の協調モデリングのための自己回帰モデルUniMoを提案する。
本手法は,正確なモーションキャプチャを行いながら,対応する映像と動きを同時に生成することを示す。
論文 参考訳（メタデータ） (2025-12-03T16:03:18Z) - VimoRAG: Video-based Retrieval-augmented 3D Motion Generation for Motion Language Models [110.32291962407078]
VimoRAG(ヴィモラグ)は、動画に基づく大規模言語モデルのためのモーション生成フレームワークである。
動作中心の効果的なビデオ検索モデルを開発し、最適下検索結果による誤り伝播の問題を緩和する。
実験結果から,VimoRAGはテキストのみの入力に制約された動きLLMの性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-16T15:31:14Z) - M2DAO-Talker: Harmonizing Multi-granular Motion Decoupling and Alternating Optimization for Talking-head Generation [65.48046909056468]
我々は,音声音声生成をビデオ前処理,モーション表現,レンダリング再構成を含む統一的なフレームワークに再構成する。
M2DAO-Talkerは2.43dBのPSNRの改善とユーザ評価ビデオの画質0.64アップで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-07-11T04:48:12Z) - AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models [5.224806515926022]
外部データを持たない任意の文字に対するフレーム間の動きを生成する新しい手法であるAnyMoLeを導入する。
本手法では,文脈理解を高めるために2段階のフレーム生成プロセスを用いる。
論文 参考訳（メタデータ） (2025-03-11T13:28:59Z) - Motion-2-to-3: Leveraging 2D Motion Data to Boost 3D Motion Generation [43.915871360698546]
人間の2Dビデオは、幅広いスタイルやアクティビティをカバーし、広範にアクセス可能なモーションデータのソースを提供する。
本研究では,局所的な関節運動をグローバルな動きから切り離し,局所的な動きを2次元データから効率的に学習する枠組みを提案する。
提案手法は,2次元データを効率的に利用し,リアルな3次元動作生成をサポートし,支援対象の動作範囲を拡大する。
論文 参考訳（メタデータ） (2024-12-17T17:34:52Z) - TM2D: Bimodality Driven 3D Dance Generation via Music-Text Integration [75.37311932218773]
テキストと音楽の両方を同時に組み込んだ3Dダンス運動を生成するための新しいタスクを提案する。
本手法は,テキストと音楽の両方に調和した現実的かつ一貫性のあるダンスの動きを生成できると同時に,2つの単一モーダルと同等の性能を維持することができる。
論文 参考訳（メタデータ） (2023-04-05T12:58:33Z) - TM2T: Stochastic and Tokenized Modeling for the Reciprocal Generation of
3D Human Motions and Texts [20.336481832461168]
視覚と言語との強い結びつきから着想を得た本論文は,テキストから3次元人間のフルボディ運動の生成を探求することを目的とする。
本稿では,離散的かつコンパクトな動き表現である動きトークンを提案する。
私たちのアプローチは柔軟で、text2motionと Motion2textタスクの両方に使用できます。
論文 参考訳（メタデータ） (2022-07-04T19:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。