論文の概要: Multi-Modal Controlled Coherent Motion Generation

• arxiv url: http://arxiv.org/abs/2609.11439v1
• Date: Thu, 10 Sep 2026 12:10:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.335965
• Title: Multi-Modal Controlled Coherent Motion Generation
• Title（参考訳）: マルチモーダル制御コヒーレントモーション生成
• Abstract要約: 本稿では,同時マルチモーダル入力によって駆動される3次元アバターモーション生成において,このような自然な動作を再現するという課題に取り組む。 既存の手法は、整列したマルチモーダルデータの不足によって制約され、通常、個々のモーダルの運動を逐次または重み付き和を通して組み合わせる。 複数の同時入力を処理できる新しい拡散型フレームワークMOCOを提案する。
• 参考スコア（独自算出の注目度）: 37.42100177714484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is natural for humans to walk and talk simultaneously. This paper tackles the challenge of replicating such natural behaviors in 3D avatar motion generation driven by concurrent multimodal inputs, such as a text description of a man walking alongside speech audio. Existing methods, constrained by the scarcity of aligned multimodal data, typically combine motions from individual modalities sequentially or through weighted sums. However, they often result in mismatched or unrealistic movements. To overcome these limitations, we propose MOCO, a novel diffusion-based framework capable of processing multiple simultaneous inputs, including speech audio, text descriptions, and trajectory data, to generate coherent and lifelike motions without requiring aligned multimodal data. Our key innovation lies in decoupling the motion generation process. During each denoising step, the diffusion model independently generates motions for each modality from the input noise and assembles the body parts according to predefined spatial rules. The resulting combined motion is then diffused and serves as the input noise for the subsequent denoising step. This iterative approach enables each modality to refine its contribution within the context of the overall motion, progressively harmonizing movements across modalities. Consequently, the generated motions become increasingly natural and fluid with each iteration, achieving coherent and synchronized behaviors. We evaluate our approach using a purpose-built multimodal benchmark. Experimental results demonstrate that MOCO outperforms existing baselines, advancing the field of multimodal motion generation for 3D avatars.
• Abstract（参考訳）: 人間は歩いたり話したりするのは当然です。 本稿では,3次元アバター・モーション・ジェネレーションにおける自然な動作を同時入力によって再現するという課題に対処する。 既存の手法は、整列したマルチモーダルデータの不足によって制約され、通常、個々のモーダルの運動を逐次または重み付き和を通して組み合わせる。 しかし、しばしば不一致や非現実的な動きを引き起こす。 このような制約を克服するために,音声音声,テキスト記述,軌跡データなど複数の同時入力を同時に処理し,整列したマルチモーダルデータを必要としないコヒーレントかつライフライクな動作を生成する,新しい拡散ベースのフレームワークMOCOを提案する。 私たちの重要なイノベーションは、モーション生成プロセスを分離することにあります。 拡散モデルは、各ノイズから各モードの運動を独立に生成し、予め定義された空間規則に従って本体部品を組み立てる。 結果として合成された動きは拡散され、その後の認知ステップの入力ノイズとして機能する。 この反復的アプローチにより、各モダリティは全体の運動の文脈内でその寄与を洗練し、モーダルティをまたいだ運動を段階的に調和させることができる。 その結果、生成した動きは各イテレーションで自然に流動化し、コヒーレントで同期的な動作を達成する。 目的のマルチモーダルベンチマークを用いて,本手法の評価を行った。 実験の結果,MOCOは既存のベースラインよりも優れており,三次元アバターのマルチモーダルモーション生成の場を前進させることがわかった。

関連論文リスト

• AnyMo: Scaling Any-Modality Conditional Motion Generation with Masked Modeling [60.13338774249153]
  我々はOmniHuMoを紹介した。OmniHuMoは5000時間以上の動作と320万のシーケンスのデータセットで、正確に整列されたマルチモーダルアノテーションである。 我々は、Residual FSQベースのモーショントークンーザとスケーラブルなマスク付きモデリング変換器を組み合わせた統合マルチモーダルフレームワークであるAnyMoを提案する。 実験の結果,AnyMoは空間特性とスタイリスティック特性の両方を柔軟に制御しながら高忠実度合成を実現することがわかった。
  論文  参考訳（メタデータ） (2026-05-28T07:15:19Z)
• OmniMotion-X: Versatile Multimodal Whole-Body Motion Generation [52.579531290307926]
  本稿では,全身動作生成のための汎用フレームワークであるOmniMotion-Xを紹介する。 OmniMotion-Xは、テキスト・トゥ・モーション、音楽・トゥ・ダンス、音声・トゥ・ジェスチャなど、多様なマルチモーダルタスクを効率的にサポートする。 高品質なマルチモーダルトレーニングを実現するため,これまでで最大の統合マルチモーダルモーションデータセットであるOmniMoCap-Xを構築した。
  論文  参考訳（メタデータ） (2025-10-22T17:25:33Z)
• OmniMotion: Multimodal Motion Generation with Continuous Masked Autoregression [30.795106931727158]
  全体マルチモーダル・ヒューマン・モーション・ジェネレーションは2つの主要な課題を提起する。 我々は、効果的な動き生成機構を作成し、テキスト、音声、音楽などの様々なモダリティを結合的な枠組みに統合する。 本フレームワークは,テキスト・トゥ・モーション,音声・ジェスチャー,音楽・ダンスなど,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-10-16T17:57:53Z)
• Unified Multi-Modal Interactive & Reactive 3D Motion Generation via Rectified Flow [17.95248351806955]
  マルチモーダルな2人動作生成のためのフレームワークであるDualFlowを紹介する。 テキスト、音楽、先行の動作シーケンスを含む様々な入力で動きを合成する。 時間的にコヒーレントでリズミカルに同期した動作を生成し、マルチモーダルな人間の動作生成において最先端の動作を設定する。
  論文  参考訳（メタデータ） (2025-09-28T22:36:18Z)
• MotionVerse: A Unified Multimodal Framework for Motion Comprehension, Generation and Editing [53.98607267063729]
  MotionVerseは、シングルパーソンとマルチパーソンの両方のシナリオで人間の動作を理解し、生成し、編集するフレームワークである。 我々は、連続的な動き列をマルチストリーム離散トークンに変換する残差量子化を伴う動きトークン化器を用いる。 また、残留トークンストリームの符号化を時間的に停滞させる textitDelay Parallel Modeling 戦略も導入する。
  論文  参考訳（メタデータ） (2025-09-28T04:20:56Z)
• MotionGPT3: Human Motion as a Second Modality [28.616340011811843]
  MotionGPT3は、理解と生成の両方のためのバイモーダルモーション言語モデルである。 共通注意を持つデュアルストリームトランスは、制御された双方向情報フローを実現しつつ、モダリティ固有の経路を保存する。 実験により、MotionGPT3はトレーニング損失の2倍高速収束、検証の最大4倍高速収束を実現している。
  論文  参考訳（メタデータ） (2025-06-30T17:42:22Z)
• GENMO: A GENeralist Model for Human MOtion [64.16188966024542]
  本稿では,1つのフレームワークで動作推定と生成を橋渡しする汎用人体運動モデル GENMO を提案する。 我々の重要な洞察は、出力運動が観測された条件信号を正確に満たさなければならないような制約された動き生成として運動推定を再構成することである。 我々の新しいアーキテクチャは、可変長動きと混合マルチモーダル条件(テキスト、オーディオ、ビデオ)を異なる時間間隔で処理し、柔軟な制御を提供する。
  論文  参考訳（メタデータ） (2025-05-02T17:59:55Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。