論文の概要: H-VLA: Hierarchical Vision-Language-Action Model with Key-Action Reasoning and Motion Planning in a Unified Action Space
- arxiv url: http://arxiv.org/abs/2609.22895v1
- Date: Sat, 19 Sep 2026 09:01:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:14:33.616254
- Title: H-VLA: Hierarchical Vision-Language-Action Model with Key-Action Reasoning and Motion Planning in a Unified Action Space
- Title(参考訳): H-VLA:一様行動空間におけるキー・アクション・推論と運動計画を用いた階層的視覚・言語・行動モデル
- Abstract要約: VLA(Vision-Language-Action)モデルは、ロボット操作の強力な可能性を示している。
既存の多くの手法は、言語や視覚的な観察から密接な行動への直接的なマッピングに依存している。
低レベルのモーション生成から高レベルのキーアクション推論を分離する階層型VLAフレームワークであるH-VLAを提案する。
- 参考スコア(独自算出の注目度): 29.429328779681185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models have shown strong potential for robotic manipulation, but many existing methods still rely on direct mappings from language and visual observations to dense actions. This formulation can weaken the semantic reasoning capability inherited from pre-trained Vision-Language Models (VLMs), which are mainly optimized for visual-linguistic understanding rather than low-level control, and becomes fragile under spatial variations, including changes in object positions, scene layouts, robot embodiments, and camera viewpoints. To address these limitations, we propose H-VLA, a hierarchical VLA framework that decouples high-level key-action reasoning from low-level motion generation. H-VLA combines a Key-Action Model for predicting a key-action as the next manipulation subgoal, a Motion Planning Model for generating dense future actions conditioned on the predicted key-action, and a Unified Camera-Centric Action Space for consistent representation across datasets, embodiments, and viewpoints. We further adopt a two-stage training strategy that emphasizes key-action reasoning during pre-training and dense motion generation during fine-tuning. Experiments show that H-VLA achieves strong performance on SimplerEnv, reaching 91% on Google Robot visual matching, 84% on Google Robot variant aggregation, and 81% on WidowX visual matching. On Agilex real-robot tasks, H-VLA improves over the strongest baseline by 10, 47, and 16 percentage points under in-distribution, out-of-distribution position, and out-of-distribution scene/object settings, respectively.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルはロボット操作の強力な可能性を示しているが、既存の多くの手法は依然として言語や視覚的な観察から密な行動への直接的なマッピングに依存している。
この定式化は、主に低レベル制御よりも視覚言語的理解に最適化された事前訓練された視覚言語モデル(VLM)から受け継がれた意味的推論能力を弱め、オブジェクト位置、シーンレイアウト、ロボットの実施形態、カメラ視点などの空間的変化の下で脆弱になる。
これらの制約に対処するために,低レベルモーション生成から高レベルキーアクション推論を分離する階層型VLAフレームワークであるH-VLAを提案する。
H-VLAは、キーアクションを次の操作サブゴールとして予測するキーアクションモデルと、予測されたキーアクションに条件付き密集した未来のアクションを生成するモーションプランニングモデルと、データセット、実施、視点をまたいだ一貫した表現を行う統一カメラ中心アクションスペースを組み合わせる。
さらに,2段階のトレーニング戦略を採用し,事前学習時のキーアクション推論と微調整時の濃密な動作生成を強調した。
実験の結果、H-VLAはSimplerEnvで91%、Google Robotでのビジュアルマッチングで84%、WidowXでのビジュアルマッチングで81%に達した。
Agilexのリアルタイムタスクでは、H-VLAが最強のベースラインよりも10, 47, 16ポイント向上し、それぞれ分布外位置、分布外位置、分布外シーン/オブジェクト設定となる。
関連論文リスト
- GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations [19.347332945780273]
VLA(Vision-Language-Action)モデルは、知覚と行動の統一による汎用ロボット操作の強力な可能性を示している。
ジェスチャーを並列命令として導入し,GesVLA(Gesture-Aware Vision-Language-Action Model)を提案する。
実験結果から,ジェスチャを組み込むことにより,目標の接地精度と人間とロボットの相互作用効率が一貫した改善が得られた。
論文 参考訳(メタデータ) (2026-05-21T17:57:44Z) - HiVLA: A Visual-Grounded-Centric Hierarchical Embodied Manipulation System [48.02804864175127]
HiVLAは、低レベルのモーター制御から高レベルのセマンティックプランニングを明確に分離する、視覚的なグラウンド中心の階層的なフレームワークである。
シミュレーションと実世界の実験により、HiVLAは最先端のエンドツーエンドベースラインを著しく上回ることを示した。
論文 参考訳(メタデータ) (2026-04-15T17:50:07Z) - Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。
本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。
我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文 参考訳(メタデータ) (2026-02-23T11:00:08Z) - ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation [52.94334113271359]
ActiveVLAは視覚言語によるアクションフレームワークで、ロボットに高い精度できめ細かな操作を可能にする。
我々は,ActiveVLAが3つのシミュレーションベンチマークで高精度な3D操作を実現し,最先端のベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2026-01-13T08:29:07Z) - CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。
視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。
実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
論文 参考訳(メタデータ) (2025-03-27T22:23:04Z) - HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。
階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
論文 参考訳(メタデータ) (2025-02-08T07:50:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。