論文の概要: Humanoid Loco-Manipulation With Discrete VLA Model

• arxiv url: http://arxiv.org/abs/2609.35709v1
• Date: Mon, 28 Sep 2026 17:44:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:25:27.221003
• Title: Humanoid Loco-Manipulation With Discrete VLA Model
• Title（参考訳）: 離散VLAモデルを用いたヒューマノイドロコマニピュレーション
• Abstract要約: Holo-Mはヒューマノイドのロコ操作のための最初の離散VLAモデルである。 アクショントークンで語彙を拡張することで、言語モデルを活用する。 我々は, SIMPLE ヒューマノイド・ロコ・マニピュレーション・ベンチマークの実験を行った。
• 参考スコア（独自算出の注目度）: 15.081533330238747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action (VLA) models using discrete action tokens have proven effective for controling robotic arms on manipulation tasks. For a humanoid, however, the whole-body action space -- legs, torso, arms, and hands -- is far higher-dimensional and heterogeneous, raising tokenization, training, and real-time inference challenges that the previous VLA models do not address. We present Holo-M, to our knowledge the first discrete VLA model for humanoid loco-manipulation that intrinsically exploits the language model by extending its vocabulary with action tokens. In this model, we devise a unified action tokenizer that decomposes the humanoid action space into four body-part-specific tokenizers -- end-effector, body, hand, and kinematics -- enabling training across drastically different embodiments and data sources, including humanoid teleoperation, ego-centric human video, and simulation. By extending the language model's vocabulary with these action tokens, we avoid the knowledge-insulation problem inherent to the models that use separate continuous action experts. To meet real-time control requirements, we decode each body part's action tokens through grouped discrete diffusion decoding, rather than using autoregression on the action tokens. We have conducted extensive experiments on the SIMPLE humanoid loco-manipulation benchmark, in which Holo-M achieves the highest success rates in both the generalist and specialist evaluations, leading the second best by significant margins. We will release all the code and model weights.
• Abstract（参考訳）: 離散アクショントークンを用いた視覚言語アクション(VLA)モデルは、操作タスクにおけるロボットアームの制御に有効であることが証明されている。 しかし、ヒューマノイドにとって、足、胴体、腕、手といった全身の行動空間ははるかに高次元で不均一であり、トークン化、トレーニング、そして以前のVLAモデルでは対応していないリアルタイム推論の課題を提起している。 我々はHolo-Mについて,その語彙をアクショントークンで拡張することで言語モデルを本質的に活用する,ヒューマノイドロコ操作のための最初の離散VLAモデルについて述べる。 本モデルでは,ヒューマノイドのアクション空間を,エンドエフェクタ,ボディ,ハンド,キネマティクスの4つに分割し,ヒューマノイドの遠隔操作,エゴ中心のヒューマンビデオ,シミュレーションなど,大きく異なる実施形態やデータソースのトレーニングを可能にする,統一されたアクショントークンライザを考案する。 言語モデルの語彙をこれらのアクショントークンで拡張することにより、個別の継続的なアクションエキスパートを使用するモデルに固有の知識絶縁問題を避けることができる。 リアルタイム制御の要件を満たすために,各身体のアクショントークンを,アクショントークンの自己回帰ではなく,グループ化された離散拡散復号により復号する。 我々は,Holo-Mがジェネラリストとスペシャリストの両方で高い成功率を達成し,第2位を有意差で導いたsimPLE humanoid loco-manipulationベンチマークについて広範な実験を行った。 すべてのコードとモデルの重みを公開します。

関連論文リスト

• MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation [17.392786435444062]
  我々は,1台の自家用カメラから自律型ヒューマノイドロコマニピュレーションを駆動するリアルタイムWAMであるMotionWAMを紹介する。 3段階の学習フレームワークは、ビデオワールドモデルをエゴセントリックな視覚力学に徐々に適応させる。
  論文  参考訳（メタデータ） (2026-06-08T08:50:14Z)
• HARP-VLA: Human-Robot Aligned Representation Learning for Vision-Language-Action Model [13.153130497047043]
  大規模な人間のビデオから一般化可能な視覚-言語-アクションモデルを学ぶことは有望だが、断熱的不一致のため難しい。 本稿では,人間のビデオからより効果的なVLA事前学習のための人間ロボット協調表現学習フレームワークであるHARPを提案する。 特徴可視化、シミュレーション、実世界の操作実験は、人間ロボットのアライメントと下流ポリシーのパフォーマンスを改善した。
  論文  参考訳（メタデータ） (2026-05-29T12:36:30Z)
• HEX: Humanoid-Aligned Experts for Cross-Embodiment Whole-Body Manipulation [74.34984994596813]
  HEXは、ヒューマノイドロボットの協調操作のための状態中心のフレームワークである。 ヘテロジニアスな実施形態をまたいだスケーラブルな学習のための、ヒューマノイドに整合した普遍的状態表現が組み込まれている。 タスクの成功率と一般化における最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-09T09:01:43Z)
• CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos [73.51386721543135]
  本稿では,映像から視覚的潜伏空間をロボット軌道から受容的潜伏空間に整列させるフレームワークであるContrastive Latent Action Pretraining (CLAP)を提案する。 CLAPは、ビデオの遷移を量子化され、物理的に実行可能なコードブックにマッピングする。 本稿では,命令追従やオブジェクトの一般化に優れた自己回帰モデルであるCLAP-NTPと,高頻度かつ高精度な操作のために設計されたRectified FlowベースのポリシーであるCLAP-RFの両方を提供する二重形式VLAフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-07T16:26:33Z)
• MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
  人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。 MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
  論文  参考訳（メタデータ） (2025-12-17T12:59:41Z)
• METIS: Multi-Source Egocentric Training for Integrated Dexterous Vision-Language-Action Model [36.82365894983052]
  大きなボトルネックは、デクスタラススキルのための大規模でアクションアノテートされたデータの不足にある。 我々は,エゴセントリックなデータセット上で事前学習したデクスタラス操作のための視覚言語アクションモデルMETISを提案する。 提案手法は,6つの実世界のタスクにおける平均成功率を達成し,異常な操作能力を示す。
  論文  参考訳（メタデータ） (2025-11-21T16:32:36Z)
• Motion-Agent: A Conversational Framework for Human Motion Generation with LLMs [67.59291068131438]
  Motion-Agentは、一般的な人間の動きの生成、編集、理解のために設計された会話フレームワークである。 Motion-Agentはオープンソースの事前学習言語モデルを使用して、モーションとテキストのギャップを埋める生成エージェントであるMotionLLMを開発した。
  論文  参考訳（メタデータ） (2024-05-27T09:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。