論文の概要: HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL

• arxiv url: http://arxiv.org/abs/2608.16837v1
• Date: Mon, 17 Aug 2026 17:22:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.819057
• Title: HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL
• Title（参考訳）: HAF:階層的行動流とスペクトル潜在RLによる全身ロコ操作への一般VLAの適応
• Abstract要約: 本稿では,HAF(Humanoid Adaptation Framework)を導入し,市販の汎用VLAファンデーションモデルをヒューマノイド全体のロコ操作に転送する。 HAF-VLAは、事前訓練されたフローマッチングVLA上に構築された階層型アクションフロージェネレータである。 HaF-Steerは、フローマッチングの可逆性とDCTに基づく次元削減を活用する、オフラインからオフラインまでの潜時パイプラインである。
• 参考スコア（独自算出の注目度）: 56.014913786737104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humanoid robots hold great promise as general-purpose agents in human-centered environments, yet generalist vision-language-action (VLA) foundation models are not readily applicable to humanoid whole-body loco-manipulation. The high dimensionality and interdependence of humanoid motions make it challenging for conventional single-stage VLA architectures to coordinate locomotion, waist posture, and dual-arm manipulation effectively. Moreover, policies trained through offline behavior cloning can remain suboptimal during real-world deployment. Although online reinforcement learning can refine policies through real-world interaction, directly tuning large VLA backbones demands excessive computation and may introduce safety risks during real-robot exploration. To address these bottlenecks, we introduce HAF (Humanoid Adaptation Framework), a two-part framework consisting of HAF-VLA and HAF-Steer that transfers off-the-shelf generalist VLA foundation models to humanoid whole-body loco-manipulation. HAF-VLA is a hierarchical action-flow generator built on a pretrained flow-matching VLA. It splits full-body action denoising into three sequential stages with stage embeddings and cross-stage KV caches that retain kinematic dependencies, avoiding incoherent whole-body actions from one-shot generation. On top of the frozen HAF-VLA, HAF-Steer is a latent offline-to-online RL pipeline that leverages flow-matching invertibility and DCT-based dimensionality reduction to restrict RL optimization to a compact noise subspace and train a regularized SAC policy. This avoids updating the large VLA backbone and enables efficient real-world policy refinement. Evaluated on seven real-world humanoid loco-manipulation tasks, HAF surpasses vanilla single-stage VLA baselines and improves whole-body coordination and task performance. Project website: https://grange007.github.io/HAF .
• Abstract（参考訳）: ヒューマノイドロボットは、人間中心環境における汎用エージェントとして大きな可能性を秘めているが、汎用視覚言語アクション(VLA)基盤モデルは、ヒューマノイド全体のロコ操作には適用できない。 ヒューマノイド運動の高次元性と相互依存性は、従来の単一ステージのVLAアーキテクチャにおいて、ロコモーション、腰の姿勢、両腕の操作を効果的にコーディネートすることを困難にしている。 さらに、オフラインのビヘイビアクローンによってトレーニングされたポリシーは、実際のデプロイメントにおいて、サブ最適のままである。 オンライン強化学習は実世界のインタラクションを通じてポリシーを洗練させることができるが、大規模なVLAバックボーンを直接チューニングするには過剰な計算が必要であり、実際のロボット探査中に安全性のリスクが生じる可能性がある。 これらのボトルネックに対処するため,HAF(Humanoid Adaptation Framework)を導入した。HAF-VLAとHAF-Steerで構成された2つのフレームワークで,既製の汎用VLA基盤モデルをヒューマノイド全体のロコ操作に転送する。 HAF-VLAは、事前訓練されたフローマッチングVLA上に構築された階層型アクションフロージェネレータである。 フルボディアクションを3つのシーケンシャルステージに分割し、ステージ埋め込みと、kinematic依存性を保持するクロスステージKVキャッシュで、1ショット生成からの非一貫性な全ボディアクションを回避する。 凍結されたHAF-VLAの上に、HAF-Steerは、フローマッチングの可逆性とDCTに基づく次元削減を活用し、RL最適化をコンパクトノイズ部分空間に制限し、正規化されたSACポリシーを訓練する、潜時オフラインのRLパイプラインである。 これにより、大規模なVLAバックボーンの更新を回避し、効率的な現実世界のポリシー改善を可能にする。 HAFは、実世界の7つのヒューマノイドロコ操作タスクを評価し、バニラ単段VLAベースラインを超え、全身調整とタスクパフォーマンスを改善している。 プロジェクトウェブサイト: https://grange007.github.io/HAF

関連論文リスト

• StructRL: Structured Action-Space Exploration for Flow-Based VLAs [81.43458629514139]
  フローベースのビジョン・ランゲージ・アクションモデルは現在、連続的なロボット操作に広く使われている。 オンライン強化学習は、それらを新しいタスクに適応するための重要なテクニックとして浮上している。 動作群間で時間的にスムーズかつスケールの異なる,構造的雑音に対する効果的なロボット探索の必要性を示す。
  論文  参考訳（メタデータ） (2026-08-15T09:31:29Z)
• FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space [15.351960740594201]
  FlowDAggerは、潜伏空間における人間の介入から凍結した生成ロボットポリシーを適用するためのサンプルおよび計算効率のよい方法である。 私たちのキーとなるアイデアはアクション・インバージョン(アクション・インバージョン)です。 本研究では,FlowDAggerのシミュレーションおよび実世界のバイマニュアルおよびシングルアーム操作について評価する。
  論文  参考訳（メタデータ） (2026-07-09T19:07:33Z)
• Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement [52.93267443851685]
  VLA(Vision-Language-Action)モデルは様々な操作タスクにまたがって一般化することができる。 シミュレーションで純粋に訓練された強化学習政策は、実世界のVLAのゼロショットの堅牢性を改善することができるか? 本稿では,オブジェクトポーズを用いてVLA動作を洗練するオブジェクト中心残差RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-17T11:36:54Z)
• HOIST: Humanoid Optimization with Imitation and Sample-efficient Tuning for Manipulating Suspended Loads [26.63242922377076]
  本報告では, 吊り荷重の操作にImitation と Sample- efficient Tuning を最適化したHOIST-Humanoidを提案する。 HOISTはまず、仮想現実(VR)遠隔操作のデモから、高レベルのビジョンアクション(VLA)ポリシーを微調整する。 次に、VLAロールアウトと反復バッチRLを使用して配置精度を改善し、動作を停止する。
  論文  参考訳（メタデータ） (2026-05-29T18:33:32Z)
• Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
  強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。 現在の制限は、高速かつ正確な操作において直接の使用を妨げる。 探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
  論文  参考訳（メタデータ） (2026-04-15T11:17:54Z)
• DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA [72.9197085473598]
  DIALはハイレベルな意思決定と低レベルなモーター実行を、差別化可能な潜在意図ボトルネックを通じてブリッジするフレームワークである。 VLMベースのSystem-2は、VLMのネイティブな特徴空間内で、潜伏した視覚的フォレストによって潜伏世界モデリングを行う。 軽量のSystem-1ポリシーでは、この予測された意図と現在の観測結果を正確にロボットの動作にデコードする。
  論文  参考訳（メタデータ） (2026-03-31T15:02:27Z)
• ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
  本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。 我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。 その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
  論文  参考訳（メタデータ） (2026-03-03T18:59:29Z)
• LiLo-VLA: Compositional Long-Horizon Manipulation via Linked Object-Centric Policies [54.150202739999806]
  LiLo-VLAは、新しいロングホライゾンタスクに対してゼロショットのモジュラリティをトレーニングすることなく実現できるモジュラーフレームワークである。 LIBERO-Long++とUltra-Longという2つの課題からなる21タスクのシミュレーションベンチマークを導入する。 これらのシミュレーションでは、LiLo-VLAは平均成功率69%を達成し、Pi0.5を41%、OpenVLA-OFTを67%上回った。
  論文  参考訳（メタデータ） (2026-02-25T03:33:39Z)
• Human-assisted Robotic Policy Refinement via Action Preference Optimization [26.144183856600687]
  行動選好最適化(Action Preference Optimization、APO)は、視覚・言語・行動モデル(VLA)を人間の操作による選好アライメントによって洗練する手法である。 これを解決するために、APOは相互作用から導出される二元的望ましくない信号を用いた適応的再重み付けアルゴリズムを提案する。 シミュレーションと実世界のシナリオで行われた実験は、より優れた一般化とロバスト性を示す。
  論文  参考訳（メタデータ） (2025-06-08T13:14:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。