論文の概要: HiVLA: A Visual-Grounded-Centric Hierarchical Embodied Manipulation System
- arxiv url: http://arxiv.org/abs/2604.14125v1
- Date: Wed, 15 Apr 2026 17:50:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.664608
- Title: HiVLA: A Visual-Grounded-Centric Hierarchical Embodied Manipulation System
- Title（参考訳）: HiVLA:視覚中心型階層型身体操作システム
- Authors: Tianshuo Yang, Guanyu Chen, Yutian Chen, Zhixuan Liang, Yitian Liu, Zanxin Chen, Chunpu Xu, Haotian Liang, Jiangmiao Pang, Yao Mu, Ping Luo,
- Abstract要約: HiVLAは、低レベルのモーター制御から高レベルのセマンティックプランニングを明確に分離する、視覚的なグラウンド中心の階層的なフレームワークである。
シミュレーションと実世界の実験により、HiVLAは最先端のエンドツーエンドベースラインを著しく上回ることを示した。
- 参考スコア（独自算出の注目度）: 48.02804864175127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While end-to-end Vision-Language-Action (VLA) models offer a promising paradigm for robotic manipulation, fine-tuning them on narrow control data often compromises the profound reasoning capabilities inherited from their base Vision-Language Models (VLMs). To resolve this fundamental trade-off, we propose HiVLA, a visual-grounded-centric hierarchical framework that explicitly decouples high-level semantic planning from low-level motor control. In high-level part, a VLM planner first performs task decomposition and visual grounding to generate structured plans, comprising a subtask instruction and a precise target bounding box. Then, to translate this plan into physical actions, we introduce a flow-matching Diffusion Transformer (DiT) action expert in low-level part equipped with a novel cascaded cross-attention mechanism. This design sequentially fuses global context, high-resolution object-centric crops and skill semantics, enabling the DiT to focus purely on robust execution. Our decoupled architecture preserves the VLM's zero-shot reasoning while allowing independent improvement of both components. Extensive experiments in simulation and the real world demonstrate that HiVLA significantly outperforms state-of-the-art end-to-end baselines, particularly excelling in long-horizon skill composition and the fine-grained manipulation of small objects in cluttered scenes.
- Abstract（参考訳）: エンドツーエンドのVision-Language-Action(VLA)モデルはロボット操作に有望なパラダイムを提供するが、狭い制御データに基づいてそれらを微調整することで、ベースとなるVision-Language Models(VLM)から受け継がれた深い推論能力を損なうことが多い。
この基本的なトレードオフを解決するために,低レベルモータ制御から高レベルセマンティックプランニングを明示的に分離する視覚中心階層型フレームワークであるHiVLAを提案する。
高レベル部分において、VLMプランナは、まずタスク分解と視覚接地を行い、サブタスク命令と正確な目標バウンディングボックスとを含む構造化計画を生成する。
そこで我々は,この計画を物理行動に変換するために,新しいケースド・クロスアテンション機構を備えた低レベル部分におけるフローマッチング拡散変圧器(DiT)アクションエキスパートを導入する。
この設計は、グローバルコンテキスト、高解像度のオブジェクト中心の作物、スキルセマンティクスを順次融合させ、DiTが純粋にロバストな実行に集中できるようにする。
我々の分離アーキテクチャは、VLMのゼロショット推論を保存しつつ、両方のコンポーネントを独立的に改善します。
シミュレーションと実世界における大規模な実験により、HiVLAは最先端のエンド・ツー・エンドのベースラインを著しく上回り、特にロングホライゾンのスキル構成や、散らばったシーンにおける小さな物体の微粒な操作に優れていた。
関連論文リスト
- V-CAGE: Vision-Closed-Loop Agentic Generation Engine for Robotic Manipulation [6.820118518027692]
本稿では,自律型ロボットデータ合成のためのエージェントフレームワークであるV-CAGEを提案する。
従来のスクリプトパイプラインとは異なり、V-CAGEはエンボディ化されたエージェントシステムとして動作する。
大規模ビデオデータセットのストレージボトルネックを克服するために、知覚駆動圧縮アルゴリズムを実装した。
論文 参考訳（メタデータ） (2026-04-10T06:56:17Z) - DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA [72.9197085473598]
DIALはハイレベルな意思決定と低レベルなモーター実行を、差別化可能な潜在意図ボトルネックを通じてブリッジするフレームワークである。
VLMベースのSystem-2は、VLMのネイティブな特徴空間内で、潜伏した視覚的フォレストによって潜伏世界モデリングを行う。
軽量のSystem-1ポリシーでは、この予測された意図と現在の観測結果を正確にロボットの動作にデコードする。
論文 参考訳（メタデータ） (2026-03-31T15:02:27Z) - VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models [80.1055544841585]
ビジョン・ランゲージ・アクションモデルは通常、視覚観察と言語指示を直接ロボット制御信号にマッピングする。
本稿では,高レベルの推論と低レベルの実行を,構造化された視覚的プロンプトインタフェースを介して分離する,デュアルシステムフレームワークであるVP-VLAを提案する。
Robocasa-GR1-TabletopベンチマークとSimplerEnvシミュレーションの実験は、VP-VLAが成功率を5%と8.3%改善することを示した。
論文 参考訳（メタデータ） (2026-03-23T14:08:58Z) - Beyond Dense Futures: World Models as Structured Planners for Robotic Manipulation [43.5447478385855]
本稿では、生成的世界モデルを信頼性制御のための明示的な構造化プランナーに再構成するStructVLAを提案する。
我々はこの手法を,個別のトークン語彙を統一した2段階の訓練パラダイムを用いて実装する。
我々の実験では、StructVLAはSimplerEnv-WidowXで75.0%、LIBEROで94.8%という高い平均成功率を達成した。
論文 参考訳（メタデータ） (2026-03-13T01:33:48Z) - Critic in the Loop: A Tri-System VLA Framework for Robust Long-Horizon Manipulation [5.339854280045898]
Critic in the Loopは動的VLM-Expertスケジューリングによって駆動される適応的階層型フレームワークである。
中心となるのは、グローバル推論のためのVLM脳、リアクティブ実行のためのVLA小脳、軽量な視覚的批判を含む、バイオニックなTri-Systemアーキテクチャである。
我々のアーキテクチャは、人間にインスパイアされたルールをシームレスに統合し、無限の再試行ループを直感的に破る。
論文 参考訳（メタデータ） (2026-03-05T13:55:33Z) - TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。
我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。
トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。
埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
論文 参考訳（メタデータ） (2026-03-03T13:28:07Z) - Scaling World Model for Hierarchical Manipulation Policies [61.736772957803026]
Vision-Language-Action(VLA)モデルは、汎用的なロボット操作を約束するが、配布外設定では脆弱である。
本稿では,大規模事前学習型世界モデルの一般化を活用した階層型ビジョン・ランゲージ・アクション・フレームワークを提案する。
視覚目標合成と階層型VLAポリシの両方を,大規模なアウト・オブ・ディストリビューションシナリオで検証する。
論文 参考訳（メタデータ） (2026-02-11T16:12:33Z) - Bridge Thinking and Acting: Unleashing Physical Potential of VLM with Generalizable Action Expert [60.88976842557026]
VLM(Vision-Language Models)は、優れた計画と推論能力を示している。
最近の二重系アプローチは「思考」と「行動」を分離しようとする
一般化可能なアクションエキスパートを中心としたフレームワークを紹介します。
論文 参考訳（メタデータ） (2025-10-04T18:33:27Z) - LoHoVLA: A Unified Vision-Language-Action Model for Long-Horizon Embodied Tasks [31.3295171851909]
実世界のエンボディエージェントは、マルチステップソリューションを必要とするハイレベルな目標に直面します。
ロングホライゾンタスクは、ハイレベルなタスクプランニングと低レベルなモーションコントロールを必要とする。
我々は,LoHoVLAと呼ばれる長期タスクのための統合視覚言語フレームワークを導入する。
論文 参考訳（メタデータ） (2025-05-31T06:01:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。