論文の概要: Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2608.05999v1
• Date: Thu, 06 Aug 2026 13:07:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.755266
• Title: Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation
• Title（参考訳）: フラット政策を超えて:ロボットマニピュレーションにおける身体的エージェントの階層的ポストトライニング
• Abstract要約: 視覚言語アクション(VLA)モデルは、事前訓練された視覚言語モデルを活用することで、ロボット操作において顕著な能力を示した。 既存のポストトレーニング手法は、主にVLAモデルをフラットポリシーとして最適化し、タスクの進行を明示的にモデル化し、堅牢な長距離操作を行うのが困難である。 階層型ロボット制御(HiRoC)は,ハイレベルなタスク計画と低レベルなアクション実行を分離する階層型ポストトレーニングフレームワークである。
• 参考スコア（独自算出の注目度）: 34.87301719899886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) models have demonstrated remarkable capabilities in robotic manipulation by leveraging pretrained vision-language models. However, existing post-training methods predominantly optimize VLA models as flat policies, making it difficult to explicitly model task progression and perform robust long-horizon manipulation. Although hierarchical approaches introduce task decomposition, they mainly rely on supervised learning from offline demonstrations and cannot effectively improve execution through online interaction. To address this limitation, we propose Hierarchical Robotic Control (HiRoC), a hierarchical post-training framework that decouples high-level task planning from low-level action execution. The planner decomposes complex tasks into executable subgoals to provide explicit semantic guidance, while the executor continuously improves subgoal-conditioned action generation through reinforcement learning. To enable effective collaboration between the two modules, we further align the executor with planner-generated subgoals before reinforcement learning, mitigating the distribution misalignment between planning and execution. Extensive experiments across diverse robotic manipulation benchmarks demonstrate that HiRoC consistently outperforms strong baselines. Comprehensive analyses further validate the effectiveness of hierarchical post-training and the contribution of each key component.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、事前訓練された視覚言語モデルを活用することで、ロボット操作において顕著な能力を示した。 しかし、既存のポストトレーニング手法は、主にVLAモデルをフラットポリシーとして最適化し、タスクの進行を明示的にモデル化し、堅牢な長距離操作を行うのが困難である。 階層的なアプローチはタスク分解を導入するが、主にオフラインでのデモから教師付き学習に依存しており、オンラインインタラクションによる実行を効果的に改善することはできない。 この制限に対処するため,階層型ロボット制御(HiRoC)を提案する。 プランナーは複雑なタスクを実行可能なサブゴールに分解し、明示的なセマンティックガイダンスを提供する。 2つのモジュール間の効果的な協調を可能にするために,我々は,計画と実行の間の分布の不一致を軽減し,強化学習の前に,実行者とプランナー生成サブゴールを連携させる。 多様なロボット操作ベンチマークによる大規模な実験は、HiRoCが一貫して強力なベースラインを上回っていることを示している。 包括的分析により,階層的ポストトレーニングの有効性と各キーコンポーネントの寄与がさらに検証される。

関連論文リスト

• EASy: Towards Efficient LLM-Based Agentic System [54.10819421625103]
  強化学習によるタスク性能と計算効率を協調的に最適化する訓練可能なエージェントフレームワークであるEASyを提案する。 EASyはLLMベースのオーケストレータに異種エグゼキュータの能力とコストプロファイルを明確に把握し、パフォーマンスのみのルーティング以上のコンテキスト依存的な調整を可能にする。 さらに、複雑なタスクを管理可能なマイルストーンに分解し、依存性を意識した実行グラフを構築し、適切なエグゼキュータを割り当て、その後の決定を中間的な結果に適用しながら、独立したステップを並列化するマイルストーン計画実行ワークフローも導入されている。
  論文  参考訳（メタデータ） (2026-08-05T08:50:36Z)
• A Closed-Loop Multi-Agent Framework for Robust Multi-Robot Manipulation [37.78546236286294]
  大規模言語モデル(LLM)は、目的を実行可能な計画に分解する推論機能を提供する。 本稿では,ロバストなマルチロボット操作を実現するための階層型クローズドループエージェントフレームワークを提案する。 本システムは3つの特殊エージェントから構成される: 計画エージェントは、割り当てられたサブタスクに指示を分解し、各ロボットの操作エージェントは、適応ツール使用によるアクションを実行し、検証エージェントは、物理的な結果を監視し、意味的訂正をフィードバックすることでループを閉じる。
  論文  参考訳（メタデータ） (2026-07-08T04:23:41Z)
• Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance [108.46436073194546]
  効果的なプランニングは、ローカルで、視覚的に基礎があり、内部で生成され、アクションと直接整合するべきである、と私たちは主張する。 本稿では,タスク条件付きアベイランスをVLAモデル内で明示的な視覚的計画インターフェースとして内包する統合フレームワークであるAfford-VLAを提案する。
  論文  参考訳（メタデータ） (2026-05-22T20:43:47Z)
• SADP: Subgoal-Aware Diffusion Policy for Explainable Robots Learned from Foundation Model Generated Demonstrations [0.0]
  サブゴール・アウェア拡散政策(SADP)は、人間の解釈可能なサブゴールを囲む政策実行を構成する。 軽量補助ヘッドは、サブゴール完了状態を予測し、ロボットが現在の実行段階を公開する。 UR5eロボットを用いたRLBenchシミュレーションと実世界の評価実験により,SADPがより高いタスク成功率を達成することを示した。
  論文  参考訳（メタデータ） (2026-05-16T08:18:47Z)
• PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
  我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
  論文  参考訳（メタデータ） (2026-04-30T06:14:02Z)
• Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning [49.0945829107309]
  SuperIgorは,自己学習機構を通じて,高レベルプランの生成と洗練を可能にする。 RLエージェントは生成された計画に従うように訓練され、言語モデルはRLのフィードバックと好みに基づいてこれらの計画を適応し、修正する。 その結果、SuperIgorエージェントはベースラインメソッドよりも厳密な命令に固執する一方で、これまで見つからなかった命令に対して強力な一般化を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-04-22T14:19:23Z)
• RoboAgent: Chaining Basic Capabilities for Embodied Task Planning [46.248451288196435]
  本稿では,エージェントが環境から視覚的観察を取得し,与えられたタスクを達成するためのアトミックアクションを実行する,具体的タスク計画に焦点を当てる。 本稿では,機能駆動型計画パイプラインであるRoboAgentを提案する。 我々は,(1)専門家プランによる行動クローニング,(2)モデルで収集した軌跡を用いたDAggerトレーニング,(3)専門家ポリシーによる強化学習からなる多段階的パラダイムを用いている。
  論文  参考訳（メタデータ） (2026-04-09T04:01:27Z)
• ROSClaw: A Hierarchical Semantic-Physical Framework for Heterogeneous Multi-Agent Collaboration [9.434833852972353]
  ROSClawは、統一視覚言語モデル(VLM)コントローラにポリシー学習とタスク実行を統合する異種ロボットのためのエージェントフレームワークである。 自律的なクローズループフレームワークを確立することにより、ROSClawはロボット固有の開発への依存を最小限に抑える。
  論文  参考訳（メタデータ） (2026-04-06T13:16:24Z)
• AtomVLA: Scalable Post-Training for Robotic Manipulation via Predictive Latent World Models [9.608633915316252]
  VLA(Vision-Language-Action)モデルでは、一般化可能なロボット操作の可能性を示している。 現在のパラダイムは、教師付き微調整中の粗大でハイレベルなタスク命令に依存している。 スケーラブルなオフライン後トレーニングパイプラインと統合された,最初のサブタスク対応VLAフレームワークである方法を提案する。
  論文  参考訳（メタデータ） (2026-03-09T15:52:48Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。