論文の概要: Timo: $\textbf{T}$aming Mult$\textbf{i}$modal Diffusion Transformer for Human $\textbf{Mo}$tion Generation

• arxiv url: http://arxiv.org/abs/2609.30761v1
• Date: Fri, 25 Sep 2026 03:39:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.220395
• Title: Timo: $\textbf{T}$aming Mult$\textbf{i}$modal Diffusion Transformer for Human $\textbf{Mo}$tion Generation
• Title（参考訳）: Timo: $\textbf{T}$aming Mult$\textbf{i}$modal Diffusion Transformer for Human $\textbf{Mo}$tion Generation
• Abstract要約: Timoは、人間のモーション生成に適した、キネマティクスを意識した新しいMMDiTフレームワークである。 さまざまなアクションにまたがる6つのパブリックデータセットから40,025ドルの保留クリップのベンチマークを構築します。 本モデルは,定量評価と定性評価の両方において,最先端の手法を大幅に上回っている。
• 参考スコア（独自算出の注目度）: 9.379720760504458
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Most existing human motion generation (HMG) methods use cross-attention modules to inject text semantics, but ignore the importance of bidirectional modeling between motion and text tokens, which limits text comprehension. A straightforward idea is introducing multimodal diffusion transformers (MMDiT), which have shown effective joint text--visual modeling in vision generation, into HMG. However, we find that articulated motion is temporally coherent but weakly correlated across joints, in which directly applying an MMDiT with flow matching produces poorly coordinated and jerky motion. In this work, we propose Timo, a novel kinematics-aware MMDiT framework tailored for HMG. Timo combines fully shared multimodal attention for bidirectional text--motion modeling with flow matching, geometric and rotational-kinematics supervision that compares actual rotations and their changes over time, and a two-stage curriculum progressing from broad motion learning to detailed caption alignment. Further, we construct a benchmark of $40{,}025$ held-out clips from six public datasets spanning diverse actions, assessing six complementary dimensions under a common evaluator and scoring protocol. Our model substantially outperforms state-of-the-art methods in both quantitative and qualitative evaluations. Remarkably, Timo surpasses Kimodo on five of six dimensions, achieving a $40.8$% relative improvement in the average benchmark score. Project page: https://kyfafyd.wang/projects/timo. Demo page: https://timo.kyfafyd.wang.
• Abstract（参考訳）: 既存のヒューマン・モーション・ジェネレーション(HMG)法はテキスト・セマンティクスを注入するためにクロス・アテンション・モジュールを用いるが、テキストの理解を制限するモーション・トークンとテキスト・トークン間の双方向モデリングの重要性は無視する。 直感的なアイデアは多モード拡散変換器(MMDiT)を導入し、視覚生成における効果的な共同テキスト-視覚的モデリングをHMGに導入することである。 しかし, 関節運動は時間的コヒーレントであるが, 関節間の相関が弱いことが判明し, MMDiTをフローマッチングで直接適用すると, コーディネートやジャーキー動作が不十分になることがわかった。 本研究では,HMGに適した新しいキネマティクス対応MMDiTフレームワークであるTimoを提案する。 Timoは、双方向テキストモーションモデリングのための完全に共有されたマルチモーダルアテンションと、フローマッチング、実際の回転と時間的変化を比較する幾何および回転運動学の監督、そして広範動作学習から詳細な字幕アライメントへと進む2段階のカリキュラムを組み合わせる。 さらに、様々なアクションにまたがる6つの公開データセットから40{,}025$のホールドアウトクリップのベンチマークを構築し、共通評価器とスコアリングプロトコルの下で6つの相補的な次元を評価する。 本モデルは,定量評価と定性評価の両方において,最先端の手法を大幅に上回っている。 注目すべきは、Timoが6次元中5次元でKimodoを抜いて、平均ベンチマークスコアの40.8$%の相対的な改善を達成したことだ。 プロジェクトページ: https://kyfafyd.wang/projects/timo。 デモページ: https://timo.kyfafyd.wang.com

関連論文リスト

• DiMo: Discrete Diffusion Modeling for Motion Generation and Understanding [25.254783224309488]
  マスク付きモデリングからテキスト-モーション理解と生成まで拡張した,離散拡散スタイルのフレームワークであるDiMoを提案する。 動きをトークン化し、順次デコードするGPTスタイルの自己回帰アプローチとは異なり、DiMoは繰り返しマスク付きトークン精錬を行う。 HumanML3DとKIT-MLの実験は、強い運動品質と競合する双方向理解を示す。
  論文  参考訳（メタデータ） (2026-02-04T04:01:02Z)
• The Telephone Game: Evaluating Semantic Drift in Unified Models [41.650904633974584]
  単一の統一モデル(UM)を視覚的理解(画像からテキストへのI2T)と視覚生成(テキストから画像へのT2I)の両方に使用することで、ビジュアル言語モデル(VLM)研究の新しい方向性が開かれた。 FIDとGenEvalはT2I用であり、MMEやMMBenchはI2T用である。 これらの孤立したシングルパスメトリクスは、相互整合性を明らかにしない。概念を"理解"するモデルが、それを"レンダリング"できるのか、意味的な意味を持つのか。
  論文  参考訳（メタデータ） (2025-09-04T17:53:52Z)
• Rethinking Cross-Modal Interaction in Multimodal Diffusion Transformers [79.94246924019984]
  マルチモーダル拡散変換器 (MM-DiT) はテキスト駆動型視覚生成において顕著な進歩を遂げている。 マルチモーダルインタラクションを動的に再バランスするパラメータ効率向上手法である textbfTemperature-Adjusted Cross-modal Attention (TACA) を提案する。 本研究は,テキスト・画像拡散モデルにおける意味的忠実度向上における相互注意のバランスの重要性を強調した。
  論文  参考訳（メタデータ） (2025-06-09T17:54:04Z)
• KETA: Kinematic-Phrases-Enhanced Text-to-Motion Generation via Fine-grained Alignment [5.287416596074742]
  最先端のT2M技術は主に拡散モデルを利用してテキストプロンプトをガイダンスとして動作を生成する。 与えられたテキストを複数の分解されたテキストに分解するKETAを言語モデルを用いて提案する。 実験により、KETAはベースモデルの両バックボーン、モーション拡散モデルにおいて、最大1.19倍、2.34倍のR精度とFID値を達成することが示された。
  論文  参考訳（メタデータ） (2025-01-25T03:43:33Z)
• M$^3$GPT: An Advanced Multimodal, Multitask Framework for Motion Comprehension and Generation [78.77004913030285]
  M$3$GPTは、理解と生成のための先進的な$textbfM$ultimodal, $textbfM$ultitaskフレームワークである。 我々は、テキスト、音楽、モーション/ダンスなどのマルチモーダルな条件信号に対して離散ベクトル量子化を用い、大きな言語モデルへのシームレスな統合を可能にした。 M$3$GPTは、様々な動作関連タスク間の接続とシナジーをモデル化することを学ぶ。
  論文  参考訳（メタデータ） (2024-05-25T15:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。