論文の概要: From Code to Action: Hierarchical Learning of Diffusion-VLM Policies

• arxiv url: http://arxiv.org/abs/2509.24917v1
• Date: Mon, 29 Sep 2025 15:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.087966
• Title: From Code to Action: Hierarchical Learning of Diffusion-VLM Policies
• Title（参考訳）: コードから行動へ:拡散VLM政策の階層的学習
• Authors: Markus Peschl, Pietro Mazzaglia, Daniel Dijkman,
• Abstract要約: ロボット操作の模倣学習はしばしば、限られた一般化とデータ不足に悩まされる。 本稿では,コード生成型視覚言語モデル(VLM)を活用した階層型フレームワークを提案する。 この設計は、解釈可能なポリシーの分解を可能にし、フラットなポリシーと比較して一般化を改善し、高レベルの計画と低レベルの制御を別々に評価できるようにする。
• 参考スコア（独自算出の注目度）: 8.0703783175731
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Imitation learning for robotic manipulation often suffers from limited generalization and data scarcity, especially in complex, long-horizon tasks. In this work, we introduce a hierarchical framework that leverages code-generating vision-language models (VLMs) in combination with low-level diffusion policies to effectively imitate and generalize robotic behavior. Our key insight is to treat open-source robotic APIs not only as execution interfaces but also as sources of structured supervision: the associated subtask functions - when exposed - can serve as modular, semantically meaningful labels. We train a VLM to decompose task descriptions into executable subroutines, which are then grounded through a diffusion policy trained to imitate the corresponding robot behavior. To handle the non-Markovian nature of both code execution and certain real-world tasks, such as object swapping, our architecture incorporates a memory mechanism that maintains subtask context across time. We find that this design enables interpretable policy decomposition, improves generalization when compared to flat policies and enables separate evaluation of high-level planning and low-level control.
• Abstract（参考訳）: ロボット操作のための模倣学習は、特に複雑な長距離作業において、限られた一般化とデータの不足に悩まされることが多い。 本研究では,コード生成型視覚言語モデル(VLM)と低レベルの拡散ポリシを組み合わせることで,ロボットの動作を効果的に模倣・一般化する階層型フレームワークを提案する。 私たちの重要な洞察は、オープンソースのロボティックAPIを実行インターフェースとしてだけでなく、構造化された監視源として扱うことです。 タスク記述を実行可能なサブルーチンに分解するためにVLMを訓練し、それに対応するロボットの動作を模倣するように訓練された拡散ポリシーを基礎とする。 コード実行とオブジェクトスワップのような現実世界のタスクの両方のマルコフ的でない性質を扱うため、私たちのアーキテクチャはサブタスクコンテキストを時間にわたって保持するメモリメカニズムを組み込んでいます。 この設計は、解釈可能なポリシーの分解を可能にし、フラットなポリシーと比較して一般化を改善し、高レベルの計画と低レベルの制御を別々に評価できるようにする。

関連論文リスト

• RoboCerebra: A Large-scale Benchmark for Long-horizon Robotic Manipulation Evaluation [80.20970723577818]
  長距離ロボット操作における高レベル推論評価のためのベンチマークであるRoboCerebraを紹介する。 データセットはトップダウンパイプラインを通じて構築され、GPTはタスク命令を生成し、それらをサブタスクシーケンスに分解する。 以前のベンチマークと比較すると、RoboCerebraはアクションシーケンスが大幅に長く、アノテーションがより密度が高い。
  論文  参考訳（メタデータ） (2025-06-07T06:15:49Z)
• Embodied Long Horizon Manipulation with Closed-loop Code Generation and Incremental Few-shot Adaptation [12.077740860502878]
  身体的ロングホライゾン操作では、ロボットシステムが視覚や自然言語などのマルチモーダル入力を処理し、それらを実行可能なアクションに変換する必要がある。 近年,大規模言語モデル (LLM) を自然言語を用いてタスクをサブタスクに分解し,事前訓練した低レベルコントローラを誘導する高レベルプランナとしての利用が検討されている。 我々のフレームワークは,LoHoRavens,CALVIN,Franka Kitchen,および乱雑な現実世界設定をまたいだ,30以上の多様かつ不明瞭なロングホライゾンタスクに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-03-27T20:32:58Z)
• ROCKET-1: Mastering Open-World Interaction with Visual-Temporal Context Prompting [24.56720920528011]
  視覚言語モデル(VLM)は、マルチモーダルなタスクに優れていますが、オープンワールド環境における意思決定の具体化にそれらを適用することは、課題を示します。 1つの重要な問題は、低レベルの観測における個別の実体と効果的な計画に必要な抽象概念のギャップを埋めることである。 VLMとポリシーモデルの間の新しい通信プロトコルである視覚的時間的コンテキストを提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:26:59Z)
• From LLMs to Actions: Latent Codes as Bridges in Hierarchical Robot Control [58.72492647570062]
  我々は,制限を克服する代替アーキテクチャとして,Learningable Latent Codes as Bridges (LCB)を導入した。 methodoutperforms baselines that leverage pure language as the interface layer on tasks that requires reasoning and multi-step behaviors。
  論文  参考訳（メタデータ） (2024-05-08T04:14:06Z)
• Procedures as Programs: Hierarchical Control of Situated Agents through Natural Language [81.73820295186727]
  エージェント命令と制御のための階層的な手続き的知識を表現する強力な手法である,プログラムとしての手続きの形式化を提案する。 NL命令に対するIQAおよびALFREDデータセット上で、このフレームワークをインスタンス化する。
  論文  参考訳（メタデータ） (2021-09-16T20:36:21Z)
• Learning Task Decomposition with Ordered Memory Policy Network [73.3813423684999]
  OMPN(Ordered Memory Policy Network)を提案し、デモから学習することでサブタスク階層を発見する。 ompnは部分的に観測可能な環境に適用でき、高いタスク分解性能を達成できる。 私たちの視覚化は、サブタスク階層がモデルに出現できることを確認します。
  論文  参考訳（メタデータ） (2021-03-19T18:13:35Z)
• Learning Functionally Decomposed Hierarchies for Continuous Control Tasks with Path Planning [36.050432925402845]
  我々は、長い水平方向制御タスクをうまく解決する新しい階層型強化学習アーキテクチャであるHiDeを提案する。 実験により,本手法は未知のテスト環境にまたがって一般化され,学習法および非学習法と比較して3倍の地平線長に拡張可能であることが示された。
  論文  参考訳（メタデータ） (2020-02-14T10:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。