論文の概要: HWAM: Humanoid World Action Model With Joint State--Action Generation
- arxiv url: http://arxiv.org/abs/2610.12026v2
- Date: Mon, 12 Oct 2026 03:32:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-14 23:39:49.811402
- Title: HWAM: Humanoid World Action Model With Joint State--Action Generation
- Title(参考訳): ヒューマノイド世界行動モデルHWAM--Action Generation
- Abstract要約: 階層型ヒューマノイドシステムでは、ポリシーはその後、全身制御、ロボットダイナミクス、バランス、接触を通じて実現される参照アクションを出力する。
この階層は、アクション・エグゼクティブ・ギャップを生じさせ、ポリシーによって生成された参照は、ロボットによって実現された動きとは異なる可能性がある。
本研究では,ヒューマノイド世界行動モデルであるHWAMを提案する。
- 参考スコア(独自算出の注目度): 11.282668191369908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humanoid robots are a promising platform for general-purpose manipulation. Recent Vision-Language-Action (VLA) policies learn actions directly from multimodal observations, while World Action Models (WAMs) further incorporate future visual prediction to improve action generation. However, in hierarchical humanoid systems, VLA and WAM policies output reference actions that are subsequently realized through whole-body control, robot dynamics, balance, and contact. This hierarchy creates an action--execution gap: the reference produced by the policy can differ from the motion realized by the robot. Without explicitly modeling the realized body state, future visual prediction must jointly explain scene evolution and discrepancies between reference actions and executed motion, making it difficult to associate an action with its physical outcome. We propose HWAM, a Humanoid World Action Model with joint state--action generation, which makes the robot's post-execution proprioceptive state an explicit prediction target. By jointly generating reference actions and their realized body states, HWAM directly incorporates supervision of executed motion into action learning. HWAM is trained through three complementary conditional paths. The Policy path jointly denoises state--action trajectories conditioned only on current observations, matching deployment conditions. Forward Dynamics Modeling (FDM) predicts future visual observations conditioned on actions and post-execution states, while Inverse Dynamics Modeling (IDM) reconstructs the joint trajectory from visual transitions. Together, these paths connect policy references, realized body motion, and visual outcomes. HWAM achieves the highest success rate among evaluated baselines on three real-robot tasks on the LimX OLI humanoid. On Candy Picking, HWAM achieves a 70.6% success rate, compared with 43.3% for Fast-WAM.
- Abstract(参考訳): ヒューマノイドロボットは汎用的な操作のための有望なプラットフォームだ。
近年のVLA(Vision-Language-Action)ポリシでは,マルチモーダルな観測からアクションを直接学習する一方で,WAM(World Action Models)では,アクション生成を改善するための将来の視覚予測も取り入れている。
しかしながら、階層型ヒューマノイドシステムでは、VLAとWAMポリシーは、その後、全身制御、ロボットダイナミクス、バランス、接触を通じて実現される参照アクションを出力する。
この階層は,アクション・エグゼクティブ・ギャップを生じさせる。ロボットが実現した動作とは,ポリシーによって生成された参照が異なってくる。現実の身体状態を明示的にモデル化することなく,将来の視覚的予測は,シーンの進化と実行された動作の相違を共同で説明し,アクションと身体的結果とを関連付けることが困難になる。ロボットのポスト・エグゼクティブ・プロプリセプティブ・ステートを明示的な予測対象とするヒューマノイド・ワールド・アクション・モデルであるHWAMを提案する。
HWAMは、参照動作とその実現された身体状態を共同で生成することにより、実行された動作の監督を直接アクション学習に組み込む。
HWAMは3つの相補的な条件経路を通して訓練される。
政策パスは、現在の観測、配置条件の整合性にのみ条件づけられた状態-行動軌跡を共同で認知する。
フォワード・ダイナミクス・モデリング(FDM)は行動と実行後の状態に条件付けられた将来の視覚的観察を予測する一方、逆ダイナミクス・モデリング(IDM)は視覚遷移から関節の軌跡を再構築する。
これらの経路は、政策基準、体の動き、視覚的成果を結びつける。
HWAMは,LimX OLIヒューマノイド上での3つの実ロボットタスクのベースライン評価において,最も成功率が高い。
キャンディピッキングでは、HWAMが70.6%、Fast-WAMが43.3%である。
関連論文リスト
- Unifying Policy Learning and State Prediction through Spatial Language Modeling [52.172884936392535]
本研究では,シーンの輪郭,目標,行動目標,将来の状態を個別座標と意味トークンの共通語彙で表現する空間言語モデリングを提案する。
タスク固有の文法はこれらの要素を空間配列に整理し、1つの自己回帰変換器が行動生成と行動条件付き状態予測を学習できるようにする。
ランダム・プレイ・トランジション・プレトレーニングを駆使してモデルをスクラッチからトレーニングし、その後、専門家によるデモンストレーションで共同動作と状態トレーニングを行う。
論文 参考訳(メタデータ) (2026-10-08T15:43:08Z) - ForeAct3D: Policy-Grounded Future World Modeling for VLA Policies [28.246787329202586]
我々は、ビジョン・ランゲージ・アクション・ポリシーの中で、ポリシーに基づく未来の世界モデリングのためのフレームワークであるForeAct3Dを紹介する。
ForeAct3D は LIBERO で平均98.3%、CALVIN で平均タスク長 3.73 を達成し、全てのスイートで基本方針を上回っている。
論文 参考訳(メタデータ) (2026-10-03T15:49:04Z) - Magic-W0: A Structured World-Action Foundation Model for Physical Intelligence [15.387507304280179]
我々は、構造化された物理的状態の進化と連続的な動作を共同でモデル化する世界行動基盤モデルMagic-W0を紹介する。
現在の状態は、視覚言語コンテキストと現在の3D幾何を組み合わせたものであり、遷移は3Dモーションで表される。
将来の状態は、タスク関連の結果を記述する将来のセマンティックスによって表現される。
論文 参考訳(メタデータ) (2026-09-30T14:49:55Z) - Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning [53.77164209208635]
本稿では,視覚的整合性と軌跡アライメントを用いて,より広い行動分布を探索するWorldEchoを紹介する。
本稿では,3つの軸に沿った行動(分布カバレッジ,表現的接地,介入効果のアライメント)を強化するWorldSyncを提案する。
RoboTwinベンチマークと実ロボットタスクの実験は、WorldSyncがWorldEchoメトリクスを改善し、反復的なポリシー改善のためのより信頼性の高いシミュレータとして機能していることを示している。
論文 参考訳(メタデータ) (2026-08-25T17:59:49Z) - SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control [38.11007351456953]
世界行動モデル(WAM)は、アクションと将来の観察を共同でモデル化することで、ロボットポリシー学習を改善する。
本稿では,モダリティに特化したMixture-of-Transformers (MoT) アーキテクチャ上に構築された,自己接地型WAMであるSelfWAMを紹介する。
我々は、より行動に敏感な未来を生み出し、迅速な政策推論を保ちつつ、政策性能を改善していることを示す。
論文 参考訳(メタデータ) (2026-08-01T15:47:29Z) - Masked Visual Actions for Unified World Modeling [96.12988421978463]
Masked Visual Actionsは、ビデオ内の任意の実体の部分的に明らかな軌跡としてアクションを表現するピクセル空間制御インタフェースである。
Revealing Robot Motionは、このモデルをフォワードダイナミクスモデルとして機能させ、低レベルのロボット動作に対するシーンの反応を予測する一方で、望ましい物体の動きを明らかにすることにより、同じモデルがロボットの動作をその結果と一致させる。
論文 参考訳(メタデータ) (2026-07-21T17:59:11Z) - From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence [54.62791372989525]
アクションモデル、ビジョン言語-アクションポリシー、世界モデルは、この目標を前進させた。
世界行動モデル(WAM)は、候補者の介入と予測された結果とを結びつけるため、特に有望である。
我々は、WAMへの進化をレビューし、これらの制限をモデルの役割と表現、目的と標準化、システム構成という3つの組み合わせのギャップにまとめる。
論文 参考訳(メタデータ) (2026-07-13T15:22:56Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2026-05-12T14:15:16Z) - HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。
HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。
実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
論文 参考訳(メタデータ) (2026-05-11T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。