論文の概要: M3imic: Learning a Versatile Whole-Body Controller for Multimodal Motion Mimicking

• arxiv url: http://arxiv.org/abs/2606.04829v1
• Date: Wed, 03 Jun 2026 12:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.765531
• Title: M3imic: Learning a Versatile Whole-Body Controller for Multimodal Motion Mimicking
• Title（参考訳）: M3imic:マルチモーダルモーションミミキングのためのヴァーサタイル全体制御器の学習
• Authors: Zuxing Lu, Ziang Zheng, Yao Lyu, Jingyu Liu, Feihong Zhang, Song Lu, Xin Yuan, Changyin Sun, Xingxing Zuo, Shengbo Eben Li,
• Abstract要約: Multi-Modal Mimicはヒューマノイドロボットのための汎用的な全身制御フレームワークである。 ロボットの関節角度、人間のポーズ軌跡、エンドエフェクターのポーズなど、異種動作参照モードを統一する。 モダリティ特異的なリトレーニングを伴わない、複数の運動基準モード間のシミュレート・トゥ・リアル転送を実現する。
• 参考スコア（独自算出の注目度）: 45.636871702422134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building a general-purpose whole-body controller is essential for enabling diverse motion capabilities in humanoid robots across a wide range of downstream tasks, including locomotion and loco-manipulation. Different tasks rely on distinct motion reference modalities: locomotion primarily depends on coordinated robot joint trajectories, whereas manipulation requires precise end-effector trajectory tracking. Existing methods often overlook the representational mismatch between dense robot joint angles and sparse end-effector poses. To address this, we propose Multi-Modal Mimic (M3imic), a versatile multi-modal whole-body control framework that unifies heterogeneous motion reference modalities, including robot joint angles, human pose trajectories, and end-effector poses, using modality-specific encoders to map them into a shared latent space. Leveraging large-scale reinforcement learning in the simulator, we train a single policy that achieves sim-to-real transfer across multiple motion reference modalities without modality-specific retraining. Extensive simulation and real-world experiments on the Unitree G1 robot are conducted to evaluate the proposed framework. In simulation, the policy achieves a peak success rate of 98.42\% on an unseen test dataset, demonstrating its exceptional generalization capability. The code is available at https://github.com/Renforce-Dynamics/MultiModalWBC
• Abstract（参考訳）: ローコモーションやロコ操作など、幅広い下流タスクにわたるヒューマノイドロボットの多様な動作機能を実現するためには、汎用的な全身コントローラの構築が不可欠である。 移動は主に協調したロボットの関節の軌跡に依存するが、操作には正確なエンドエフェクタの軌跡追跡が必要である。 既存の方法は、密集したロボット関節角度とスパースエンドエフェクターのポーズとの表現ミスマッチをしばしば見落としている。 そこで本研究では,ロボット関節角度,人間のポーズトラジェクトリ,エンドエフェクタポーズなどの異種動作参照を統一する多モード全体制御フレームワークであるM3imicを提案する。 シミュレータにおける大規模強化学習を活用することで,モーダリティに特化しない複数のモーダルを横断するシミュレート・トゥ・リアル・トランスファーを実現する単一のポリシーを訓練する。 提案手法を評価するため,Unitree G1ロボットの大規模シミュレーションと実世界実験を行った。 シミュレーションでは、このポリシーは目に見えないテストデータセット上で98.42\%のピーク成功率を達成し、その例外的な一般化能力を示す。 コードはhttps://github.com/Renforce-Dynamics/MultiModalWBCで公開されている。

関連論文リスト

• AnyMo: Scaling Any-Modality Conditional Motion Generation with Masked Modeling [60.13338774249153]
  我々はOmniHuMoを紹介した。OmniHuMoは5000時間以上の動作と320万のシーケンスのデータセットで、正確に整列されたマルチモーダルアノテーションである。 我々は、Residual FSQベースのモーショントークンーザとスケーラブルなマスク付きモデリング変換器を組み合わせた統合マルチモーダルフレームワークであるAnyMoを提案する。 実験の結果,AnyMoは空間特性とスタイリスティック特性の両方を柔軟に制御しながら高忠実度合成を実現することがわかった。
  論文  参考訳（メタデータ） (2026-05-28T07:15:19Z)
• ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
  本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。 我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。 その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
  論文  参考訳（メタデータ） (2026-03-03T18:59:29Z)
• UniMotion: A Unified Motion Framework for Simulation, Prediction and Planning [60.55873455475112]
  動作タスク間の共有構造をキャプチャする統合モーションフレームワークUniMotionを提案する。 UniMotionは、これらの動作タスクを同時にサポートするために、専用のインタラクションモードと調整されたトレーニング戦略を採用している。 さらなる微調整により、UniMotionはさまざまな動作タスクにおける最先端のパフォーマンスを達成し、自動運転のための汎用的でスケーラブルなソリューションとして確立する。
  論文  参考訳（メタデータ） (2026-01-31T07:12:26Z)
• UniAct: Unified Motion Generation and Action Streaming for Humanoid Robots [27.794309591475326]
  ヒューマノイドロボティクスにおける長年の目標は、人間レベルの柔軟性を持つ多様なマルチモーダル命令に従うことができる汎用エージェントの実現である。 ここでは、微調整MLLMと因果ストリーミングパイプラインを統合した2段階のフレームワークであるUniActを用いて、500ms以下のレイテンシで、ヒューマノイドロボットがマルチモーダル命令を実行できることを示す。 提案手法は, ゼロショット追尾における不完全な参照動作の成功率を19%向上させる。
  論文  参考訳（メタデータ） (2025-12-30T16:20:13Z)
• KungfuBot2: Learning Versatile Motion Skills for Humanoid Whole-Body Control [30.738592041595933]
  ヒューマノイドロボットが単一ポリシーで多様な動的動作を学習できる統一された全身制御系VMSを提案する。 我々のフレームワークは、局所的な動きの忠実度とグローバルな軌道の整合性のバランスをとるハイブリッドな追跡目標を統合している。 シミュレーションと実世界の実験の両方においてVMSの特殊化を広範囲に検証し、ダイナミックスキルの正確な模倣、分長シーケンスでの安定した性能、そして目に見えない動作に対する強力な一般化を実証した。
  論文  参考訳（メタデータ） (2025-09-20T11:31:14Z)
• GENMO: A GENeralist Model for Human MOtion [64.16188966024542]
  本稿では,1つのフレームワークで動作推定と生成を橋渡しする汎用人体運動モデル GENMO を提案する。 我々の重要な洞察は、出力運動が観測された条件信号を正確に満たさなければならないような制約された動き生成として運動推定を再構成することである。 我々の新しいアーキテクチャは、可変長動きと混合マルチモーダル条件(テキスト、オーディオ、ビデオ)を異なる時間間隔で処理し、柔軟な制御を提供する。
  論文  参考訳（メタデータ） (2025-05-02T17:59:55Z)
• Causal Policy Gradient for Whole-Body Mobile Manipulation [39.3461626518495]
  我々は、典型的なMoMaタスクのポリシーをトレーニングする新しい強化学習フレームワークであるCausal MoMaを紹介する。 異なるタスクを対象とした3種類の模擬ロボットにおけるCausal MoMaの性能評価を行った。
  論文  参考訳（メタデータ） (2023-05-04T23:23:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。