論文の概要: Iterative On-Policy Refinement of Hierarchical Diffusion Policies for Language-Conditioned Manipulation

• arxiv url: http://arxiv.org/abs/2603.05291v1
• Date: Thu, 05 Mar 2026 15:34:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:41.942597
• Title: Iterative On-Policy Refinement of Hierarchical Diffusion Policies for Language-Conditioned Manipulation
• Title（参考訳）: 言語依存マニピュレーションのための階層的拡散政策の反復的オン・ポリケーション
• Abstract要約: HD-ExpItは環境フィードバックによる階層的拡散ポリシーの反復的微調整のためのフレームワークである。 オフラインデータのみにトレーニングされた階層的なポリシを大幅に改善する。
• 参考スコア（独自算出の注目度）: 6.115550515200226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hierarchical policies for language-conditioned manipulation decompose tasks into subgoals, where a high-level planner guides a low-level controller. However, these hierarchical agents often fail because the planner generates subgoals without considering the actual limitations of the controller. Existing solutions attempt to bridge this gap via intermediate modules or shared representations, but they remain limited by their reliance on fixed offline datasets. We propose HD-ExpIt, a framework for iterative fine-tuning of hierarchical diffusion policies via environment feedback. HD-ExpIt organizes training into a self-reinforcing cycle: it utilizes diffusion-based planning to autonomously discover successful behaviors, which are then distilled back into the hierarchical policy. This loop enables both components to improve while implicitly grounding the planner in the controller's actual capabilities without requiring explicit proxy models. Empirically, HD-ExpIt significantly improves hierarchical policies trained solely on offline data, achieving state-of-the-art performance on the long-horizon CALVIN benchmark among methods trained from scratch.
• Abstract（参考訳）: 言語条件の操作のための階層的なポリシーはタスクをサブゴールに分解し、高レベルプランナーが低レベルコントローラを誘導する。 しかし、これらの階層的エージェントは、しばしば失敗する。それは、プランナーがコントローラの実際の制限を考慮せずにサブゴールを生成するためである。 既存のソリューションでは、中間モジュールや共有表現を通じてこのギャップを埋めようとしているが、固定されたオフラインデータセットへの依存によって制限されている。 環境フィードバックによる階層的拡散ポリシーの反復的微調整のためのフレームワークであるHD-ExpItを提案する。 HD-ExpItは、トレーニングを自己強化サイクルに編成する。拡散ベースのプランニングを使用して、成功した振る舞いを自律的に発見する。 このループにより、どちらのコンポーネントも、明示的なプロキシモデルを必要とせずに、コントローラの実際の機能にプランナーを暗黙的に配置しながら改善できる。 実証的には、HD-ExpItはオフラインデータのみにトレーニングされた階層的なポリシーを大幅に改善し、長い水平CALVINベンチマークにおける最先端のパフォーマンスをスクラッチからトレーニングされたメソッドの中で達成した。

関連論文リスト

• GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation [54.305781492241785]
  本稿では,トレーニング分布を超えて一般化したビジュモータ操作ポリシーを学習するための枠組みを提案する。 GHOSTは、(i)多視点RGB-D観測から、3Dエンドエフェクタ上の分布として次のサブゴールを予測する高レベルポリシーに制御を分解する。 一連のタスクの中で、この階層的な分解は、フラットな拡散ポリシーと比較して、パフォーマンスと堅牢性を一貫して改善します。
  論文  参考訳（メタデータ） (2026-06-08T18:08:01Z)
• Switching Successor Measures for Hierarchical Zero-shot Reinforcement Learning [49.24483784910263]
  我々は、強化学習における階層的制御を可能にする後継尺度である切替後継尺度を導入する。 後継策の切り替えは,その構造を保ちながら,古典的後継措置から自然に生じることを示す。 FB$-Switchは非階層的ベースラインよりも改善されている。
  論文  参考訳（メタデータ） (2026-05-13T08:58:33Z)
• Push Smarter, Not Harder: Hierarchical RL-Diffusion Policy for Efficient Nonprehensile Manipulation [8.7216199131049]
  HeRDは階層的な強化学習拡散政策であり、プッシュタスクを高レベルの目標選択と低レベルの軌道生成という2つのレベルに分解する。 我々は、中間空間目標を選択するための高レベル強化学習エージェントと、それに到達するための実用的で効率的な軌道を生成するための低レベル目標条件拡散モデルを用いる。 この結果から,階層的制御を低レベル計画に組み込むことが,スケーラブルで目標指向の非包括的操作において有望な方向であることが示唆された。
  論文  参考訳（メタデータ） (2025-12-10T21:40:22Z)
• Embodied Long Horizon Manipulation with Closed-loop Code Generation and Incremental Few-shot Adaptation [12.077740860502878]
  身体的ロングホライゾン操作では、ロボットシステムが視覚や自然言語などのマルチモーダル入力を処理し、それらを実行可能なアクションに変換する必要がある。 近年,大規模言語モデル (LLM) を自然言語を用いてタスクをサブタスクに分解し,事前訓練した低レベルコントローラを誘導する高レベルプランナとしての利用が検討されている。 我々のフレームワークは,LoHoRavens,CALVIN,Franka Kitchen,および乱雑な現実世界設定をまたいだ,30以上の多様かつ不明瞭なロングホライゾンタスクに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-03-27T20:32:58Z)
• Direct Preference Optimization for Primitive-Enabled Hierarchical Reinforcement Learning [75.9729413703531]
  DIPPERは階層的な政策学習を二段階最適化問題として定式化する新しいHRLフレームワークである。 DIPPERは、スパース報酬シナリオにおいて、最先端のベースラインよりも最大40%改善されていることを示す。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• Offline Hierarchical Reinforcement Learning via Inverse Optimization [23.664330010602708]
  OHIOは、階層的ポリシーのオフライン強化学習のためのフレームワークである。 エンド・ツー・エンドのRL法を大幅に上回り、ロバスト性を向上させる。
  論文  参考訳（メタデータ） (2024-10-10T14:00:21Z)
• AD-H: Autonomous Driving with Hierarchical Agents [64.49185157446297]
  我々は,ハイレベル命令と低レベル制御信号を中間言語駆動の命令に接続することを提案する。 我々は、AD-Hという階層型マルチエージェント駆動システムを用いて、このアイデアを実装した。
  論文  参考訳（メタデータ） (2024-06-05T17:25:46Z)
• Feudal Graph Reinforcement Learning [18.069747511100132]
  グラフに基づく表現とメッセージパッシングモジュールポリシーは、強化学習(RL)における構成可能な制御問題に対処するための顕著なアプローチである 本稿では,階層的RLとピラミッド型メッセージパッシングアーキテクチャを頼りに,このような課題に対処する新しい手法であるFeudal Graph Reinforcement Learning (FGRL)を提案する。 特に、FGRLは階層化されたグラフ構造を通して、階層の上部から上位のコマンドが伝播するポリシーの階層を定義している。
  論文  参考訳（メタデータ） (2023-04-11T09:51:13Z)
• Distributed-Training-and-Execution Multi-Agent Reinforcement Learning for Power Control in HetNet [48.96004919910818]
  We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。 エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。 このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
  論文  参考訳（メタデータ） (2022-12-15T17:01:56Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• Learning Functionally Decomposed Hierarchies for Continuous Control Tasks with Path Planning [36.050432925402845]
  我々は、長い水平方向制御タスクをうまく解決する新しい階層型強化学習アーキテクチャであるHiDeを提案する。 実験により,本手法は未知のテスト環境にまたがって一般化され,学習法および非学習法と比較して3倍の地平線長に拡張可能であることが示された。
  論文  参考訳（メタデータ） (2020-02-14T10:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。