Fugu-MT 論文翻訳(概要): Open-UniMo: Towards Unified Motion-Language Understanding and Generation in the Open World

論文の概要: Open-UniMo: Towards Unified Motion-Language Understanding and Generation in the Open World

arxiv url: http://arxiv.org/abs/2609.14615v1
Date: Sun, 13 Sep 2026 15:46:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:05.864616
Title: Open-UniMo: Towards Unified Motion-Language Understanding and Generation in the Open World
Title（参考訳）: Open-UniMo:オープンワールドにおける統一運動言語理解と生成を目指して
Abstract要約: 百万単位のオープンワールドな動き言語データに基づいて学習した大動き言語モデル(LMLM)であるOpen-UniMoを提案する。 Open-UniMoはQwenの語彙を約150Kのテキストトークンと64Kのモーショントークンで拡張することでモダリティパリティを促進する。また、ブリッジ言語意味論とモーションダイナミクスの中間表現として、動き一貫性の連鎖推論を導入する。
参考スコア（独自算出の注目度）: 31.64682340600284
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Unified motion generation and understanding is crucial for embodied AI systems that can both synthesize and interpret human actions in open-world environments. Existing motion-language models often treat motion as an auxiliary modality of a language model, leading to text-dominated representations and limited cross-modal interaction. Moreover, the next-token prediction paradigm is not naturally suited to long motion sequences, where autoregressive generation may accumulate prediction errors. To address these challenges, we propose Open-UniMo, a unified Large Motion-Language Model (LMLM) trained on million-scale open-world motion-language data. Open-UniMo promotes modality parity by extending Qwen's vocabulary of about 150K text tokens with 64K motion tokens, enabling motion and language to share a unified token space. We further introduce motion-consistent Chain-of-Thought reasoning as an intermediate representation to bridge language semantics and motion dynamics. Open-UniMo is trained with a two-stage pipeline, where supervised fine-tuning establishes CoT-guided bidirectional motion-language mapping and Group Relative Policy Optimization (GRPO) improves semantic alignment while mitigating cumulative errors in autoregressive motion-token generation. To support comprehensive evaluation, we propose Open-MoBench, a VLM-guided benchmark for assessing text-to-motion (T2M) generation, motion-to-text (M2T) understanding, and bidirectional consistency. Extensive experiments show that Open-UniMo achieves state-of-the-art performance on both conventional metrics and Open-MoBench. Furthermore, ablation studies reveal that M2T understanding is not primarily limited by motion-token vocabulary size; instead, coupling M2T with the learnable T2M generation path yields stronger cross-modal representations, demonstrating that generation can facilitate understanding in AR-based motion-language modeling.
Abstract（参考訳）: 統一されたモーション生成と理解は、オープンワールド環境における人間の行動の合成と解釈の両方が可能な、具体化されたAIシステムにとって不可欠である。既存の動き言語モデルは、動きを言語モデルの補助的モダリティとして扱うことが多く、テキストに支配される表現と、限られた相互モーダル相互作用をもたらす。さらに,次世代の予測パラダイムは,自動回帰生成が予測誤差を蓄積する長動き列に自然に適合しない。これらの課題に対処するために,オープン・ユニモー (Open-UniMo) を提案する。 Open-UniMoは、Qwenの語彙を約150Kのテキストトークンに64Kのモーショントークンで拡張することで、モダリティパリティを促進する。さらに、ブリッジ言語意味論とモーションダイナミクスの中間表現として、動き一貫性の連鎖推論を導入する。 Open-UniMoは2段階のパイプラインで訓練されており、監督された微調整によってCoT誘導の双方向のモーション言語マッピングが確立され、グループ相対ポリシー最適化(GRPO)は自己回帰型モーショントーケン生成における累積誤差を軽減しながらセマンティックアライメントを改善する。包括的評価を支援するために,VLM誘導によるテキスト・トゥ・モーション(T2M)生成,モーション・トゥ・テキスト(M2T)理解,双方向整合性の評価を行うOpen-MoBenchを提案する。大規模な実験により、Open-UniMoは従来のメトリクスとOpen-MoBenchの両方で最先端のパフォーマンスを達成することが示された。さらに、アブレーション研究により、M2Tの理解は主にモーション・トーケンの語彙サイズによって制限されるのではなく、学習可能なT2M生成経路とM2Tを結合することでより強力なモーダル表現が得られ、生成がARベースの運動言語モデリングにおける理解を促進することが示されている。

関連論文リスト

In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics [109.99871326497333]
In-Context Model Predictive Generation (ICMPG)は、言語モデル計画と推論時の物理的フィードバックを統合するフレームワークである。 ICMPGは2つのモジュールでモデル予測制御(MPC)のようなプロセスとして運動合成を再構成する。
論文参考訳（メタデータ） (2026-06-25T12:50:33Z)
MotionMERGE: A Multi-granular Framework for Human Motion Editing, Reasoning, Generation, and Explanation [66.66098171359995]
MotionMERGEは、モーション言語モデルの粒度のギャップを埋める統合フレームワークである。まず,詳細な理解と局所的な編集を含む,粒度の細かい言語誘導型モーションコントロールの研究の先駆者となる。第2に,粒度調整を共同で行う新しい戦略である粒度事前学習を意識したReasoningAware Granularity-Synergyを設計する。第3に、第1の微細時間補正命令とモーショングラウンドCoTアノテーションを備えた大規模データセットであるMotionFineEditをキュレートする。
論文参考訳（メタデータ） (2026-05-18T18:00:04Z)
LLaMo: Scaling Pretrained Language Models for Unified Motion Understanding and Generation with Continuous Autoregressive Tokens [19.167250154665812]
LLaMoは、モダリティ固有のMixture-of-Transformersアーキテクチャを通じて、事前訓練された大規模言語モデルを拡張するフレームワークである。人間の動きを因果連続潜伏空間にエンコードし、デコーダのみのバックボーンで次のトーケン予測パラダイムを維持する。実験により,LLaMoは一般的な設定で高忠実なテキスト・ツー・モーション生成とモーション・トゥ・テキストキャプションを実現することが示された。
論文参考訳（メタデータ） (2026-02-12T20:02:21Z)
DiMo: Discrete Diffusion Modeling for Motion Generation and Understanding [25.254783224309488]
マスク付きモデリングからテキスト-モーション理解と生成まで拡張した,離散拡散スタイルのフレームワークであるDiMoを提案する。動きをトークン化し、順次デコードするGPTスタイルの自己回帰アプローチとは異なり、DiMoは繰り返しマスク付きトークン精錬を行う。 HumanML3DとKIT-MLの実験は、強い運動品質と競合する双方向理解を示す。
論文参考訳（メタデータ） (2026-02-04T04:01:02Z)
OmniMoGen: Unifying Human Motion Generation via Learning from Interleaved Text-Motion Instructions [50.40879516807197]
テキスト移動命令をインターリーブすることで,多目的な動作生成を可能にする統一的なフレームワークを提案する。簡潔なRVQ-VAEとトランスフォーマーアーキテクチャを基盤として、OmniMoGenはエンドツーエンドの命令駆動モーション生成をサポートする。実験によると、OmniMoGenはテキスト・トゥ・モーション、モーション・編集、AnyContextで最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2025-12-22T08:55:23Z)
DEFT-LLM: Disentangled Expert Feature Tuning for Micro-Expression Recognition [16.903294278064667]
マルチエキスパート・ディアングルメントによるセマンティックアライメントを実現するDEFT-LLMを提案する。まず,テキストと局所的な顔の動きを一致させる動作駆動型命令であるUni-MERを紹介する。次に、3人の専門家によるアーキテクチャを設計し、顔のダイナミクスを独立した表現に分離します。
論文参考訳（メタデータ） (2025-11-14T04:21:24Z)
MoGIC: Boosting Motion Generation via Intention Understanding and Visual Context [16.15137439724085]
MoGICは、意図モデリングと視覚的先行をマルチモーダルモーション合成に統合するフレームワークである。本研究では,条件付きトークンと動き列の効果的な局所的アライメントを実現するために,適応的スコープの混合注意機構を提案する。実験の結果、FIDはHumanML3Dで38.6%、Mo440Hで34.6%減少し、軽量テキストヘッドによる動きキャプションにおけるLCMベースの手法を上回っている。
論文参考訳（メタデータ） (2025-10-03T04:54:39Z)
MotionGPT3: Human Motion as a Second Modality [28.616340011811843]
MotionGPT3は、理解と生成の両方のためのバイモーダルモーション言語モデルである。共通注意を持つデュアルストリームトランスは、制御された双方向情報フローを実現しつつ、モダリティ固有の経路を保存する。実験により、MotionGPT3はトレーニング損失の2倍高速収束、検証の最大4倍高速収束を実現している。
論文参考訳（メタデータ） (2025-06-30T17:42:22Z)
ReAlign: Bilingual Text-to-Motion Generation via Step-Aware Reward-Guided Alignment [48.894439350114396]
本稿では,バイリンガル・テキスト・トゥ・モーション生成モデルにおいて重要なベンチマークとなるバイリンガル・ヒューマン・モーション・データセットであるBiHumanML3Dを提案する。また,バイリンガル・モーション・ディフュージョン・モデル (BiMD) を提案する。提案手法は,既存の最先端手法と比較して,テキスト・モーションアライメントと動作品質を著しく向上することを示す。
論文参考訳（メタデータ） (2025-05-08T06:19:18Z)
MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding [76.30210465222218]
MotionGPT-2は、MLMLM(Large Motion-Language Model)である。 LLM(Large Language Models)によるマルチモーダル制御をサポートしている。難易度の高い3次元全体運動生成タスクに高い適応性を持つ。
論文参考訳（メタデータ） (2024-10-29T05:25:34Z)
Motion-Agent: A Conversational Framework for Human Motion Generation with LLMs [67.59291068131438]
Motion-Agentは、一般的な人間の動きの生成、編集、理解のために設計された会話フレームワークである。 Motion-Agentはオープンソースの事前学習言語モデルを使用して、モーションとテキストのギャップを埋める生成エージェントであるMotionLLMを開発した。
論文参考訳（メタデータ） (2024-05-27T09:57:51Z)
DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
論文参考訳（メタデータ） (2023-09-04T05:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。