論文の概要: HAF-VLA: Hierarchical Action Flow Framework for Humanoid Vision-Language-Action Control
- arxiv url: http://arxiv.org/abs/2610.26584v1
- Date: Mon, 19 Oct 2026 15:33:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 02:31:12.497386
- Title: HAF-VLA: Hierarchical Action Flow Framework for Humanoid Vision-Language-Action Control
- Title(参考訳): HAF-VLA:ヒューマノイド・ビジョン・ランゲージ・アクション制御のための階層的行動フローフレームワーク
- Abstract要約: ヒューマノイドVLA制御のための階層型アクションフローフレームワークであるHAF-VLAを提案する。
本フレームワークは,ヒューマノイドのロコ操作タスクにおける既存モデルの性能を大幅に向上させる。
- 参考スコア(独自算出の注目度): 55.91352089905207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humanoid robots hold great promise as general-purpose agents in human-centered environments, yet adapting generalist vision-language-action (VLA) policies to real-world humanoid loco-manipulation remains challenging. Unlike fixed-base or wheeled manipulators, humanoids must coordinate locomotion, posture, gaze, and dual-arm manipulation over a high-dimensional whole-body action space, where inaccurate base or waist motions can easily induce unstable and aggressive upper-body compensation. We propose HAF-VLA, a hierarchical action-flow framework for humanoid VLA control. Built upon a pretrained flow-matching VLA, HAF-VLA inherits the vision-language prefix encoder and action expert weights, and adapts them to humanoid whole-body loco-manipulation with learnable stage embeddings and cross-stage KV-cache conditioning. Instead of generating the full action chunk in a single pass, HAF-VLA progressively denoises a shared whole-body action space: first locomotion and head commands, then waist refinement, and finally full-body manipulation. To preserve structural dependencies across stages, we introduce a cross-stage KV cache conditioning mechanism, enabling subsequent action generation stages to refine and augment their outputs based on the action representations from preceding stages. Experimental results across six real-world tasks demonstrate that our framework significantly enhances the performance of existing models in humanoid loco-manipulation tasks, demonstrating an effective pathway for adapting strong mobile-manipulation VLAs to humanoid whole-body loco-manipulation.
- Abstract(参考訳): ヒューマノイドロボットは、人間中心の環境で汎用エージェントとして大きな可能性を秘めているが、現実のヒューマノイドロボ操作に一般のビジョン言語アクション(VLA)ポリシーを適用することは依然として困難である。
固定ベースや車輪付きマニピュレータとは異なり、ヒューマノイドは高次元の全身動作空間上での移動、姿勢、視線、両腕操作を調整しなければならない。
ヒューマノイドVLA制御のための階層型アクションフローフレームワークであるHAF-VLAを提案する。
HAF-VLAは、事前訓練されたフローマッチングVLAに基づいて、視覚言語プレフィックスエンコーダとアクションエキスパートウェイトを継承し、学習可能なステージ埋め込みとクロスステージKV-cache条件付きヒューマノイド全体のロコ操作に適応する。
1回のパスでフルアクションチャンクを生成する代わりに、HAF-VLAは、最初の移動とヘッドコマンド、次に腰のリファインメント、そして最後にフルボディ操作という、共有された全身アクションスペースを徐々に軽視する。
ステージ間の構造的依存関係を維持するため,我々は,先段からの動作表現に基づいて,後段の動作生成段階を洗練・拡張する,クロスステージなKVキャッシュコンディショニング機構を導入する。
実世界の6つのタスクにまたがる実験結果から,本フレームワークはヒューマノイドのロコ操作タスクにおける既存モデルの性能を大幅に向上させ,強力な移動操作VLAをヒューマノイド全体のロコ操作に適用するための有効な経路を示す。
関連論文リスト
- ViLoMan: Learning Visual-Proprioceptive Whole-Body Loco-Manipulation Skills for Humanoid Robots [56.6238848953359]
ViLoManは、自律的なヒューマノイドロコ操作のためのスケーラブルなフレームワークである。
自我中心の深度観測と主観的測定を直接ジョイントレベル全体の行動にマッピングする統一的なポリシーを学ぶ。
論文 参考訳(メタデータ) (2026-09-16T19:10:13Z) - HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL [56.014913786737104]
本稿では,HAF(Humanoid Adaptation Framework)を導入し,市販の汎用VLAファンデーションモデルをヒューマノイド全体のロコ操作に転送する。
HAF-VLAは、事前訓練されたフローマッチングVLA上に構築された階層型アクションフロージェネレータである。
HaF-Steerは、フローマッチングの可逆性とDCTに基づく次元削減を活用する、オフラインからオフラインまでの潜時パイプラインである。
論文 参考訳(メタデータ) (2026-08-17T17:22:33Z) - MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation [17.392786435444062]
我々は,1台の自家用カメラから自律型ヒューマノイドロコマニピュレーションを駆動するリアルタイムWAMであるMotionWAMを紹介する。
3段階の学習フレームワークは、ビデオワールドモデルをエゴセントリックな視覚力学に徐々に適応させる。
論文 参考訳(メタデータ) (2026-06-08T08:50:14Z) - ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。
我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。
その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
論文 参考訳(メタデータ) (2026-03-03T18:59:29Z) - MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。
MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
論文 参考訳(メタデータ) (2025-12-17T12:59:41Z) - WholeBodyVLA: Towards Unified Latent VLA for Whole-Body Loco-Manipulation Control [22.617383494100253]
WholeBodyVLAはヒューマノイドのロコ操作のための統一的なフレームワークである。
AgiBot X2のヒューマノイドに関する総合的な実験を通じて検証され、以前のベースラインを21.3%上回った。
論文 参考訳(メタデータ) (2025-12-11T19:07:31Z) - Humanoid Agent via Embodied Chain-of-Action Reasoning with Multimodal Foundation Models for Zero-Shot Loco-Manipulation [23.43820490179566]
Humanoid-COAはゼロショットロコ操作のためのエボディード・チェーン・オブ・アクション機構と基礎モデル推論を統合している。
我々のフレームワークは、操作、移動、およびロコ操作タスクにおいて、以前のベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2025-04-13T11:37:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。