論文の概要: Embodied Long Horizon Manipulation with Closed-loop Code Generation and Incremental Few-shot Adaptation

• arxiv url: http://arxiv.org/abs/2503.21969v3
• Date: Thu, 21 Aug 2025 02:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 11:56:34.468179
• Title: Embodied Long Horizon Manipulation with Closed-loop Code Generation and Incremental Few-shot Adaptation
• Title（参考訳）: 閉ループ符号生成とインクリメンタルFew-shot Adaptationを併用したエンボディード長水平マニピュレーション
• Authors: Yuan Meng, Xiangtong Yao, Haihui Ye, Yirui Zhou, Shengqiang Zhang, Zhenguo Sun, Xukun Li, Zhenshan Bing, Alois Knoll,
• Abstract要約: 身体的ロングホライゾン操作では、ロボットシステムが視覚や自然言語などのマルチモーダル入力を処理し、それらを実行可能なアクションに変換する必要がある。 近年,大規模言語モデル (LLM) を自然言語を用いてタスクをサブタスクに分解し,事前訓練した低レベルコントローラを誘導する高レベルプランナとしての利用が検討されている。 我々のフレームワークは,LoHoRavens,CALVIN,Franka Kitchen,および乱雑な現実世界設定をまたいだ,30以上の多様かつ不明瞭なロングホライゾンタスクに対して,最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 12.077740860502878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied long-horizon manipulation requires robotic systems to process multimodal inputs-such as vision and natural language-and translate them into executable actions. However, existing learning-based approaches often depend on large, task-specific datasets and struggle to generalize to unseen scenarios. Recent methods have explored using large language models (LLMs) as high-level planners that decompose tasks into subtasks using natural language and guide pretrained low-level controllers. Yet, these approaches assume perfect execution from low-level policies, which is unrealistic in real-world environments with noise or suboptimal behaviors. To overcome this, we fully discard the pretrained low-level policy and instead use the LLM to directly generate executable code plans within a closed-loop framework. Our planner employs chain-of-thought (CoT)-guided few-shot learning with incrementally structured examples to produce robust and generalizable task plans. Complementing this, a reporter evaluates outcomes using RGB-D and delivers structured feedback, enabling recovery from misalignment and replanning under partial observability. This design eliminates per-step inference, reduces computational overhead, and limits error accumulation that was observed in previous methods. Our framework achieves state-of-the-art performance on 30+ diverse seen and unseen long-horizon tasks across LoHoRavens, CALVIN, Franka Kitchen, and cluttered real-world settings.
• Abstract（参考訳）: 身体的ロングホライゾン操作では、ロボットシステムが視覚や自然言語などのマルチモーダル入力を処理し、それらを実行可能なアクションに変換する必要がある。 しかし、既存の学習ベースのアプローチは多くの場合、大きなタスク固有のデータセットに依存し、目に見えないシナリオに一般化するのに苦労する。 近年,大規模言語モデル (LLM) を自然言語を用いてタスクをサブタスクに分解し,事前訓練した低レベルコントローラを誘導する高レベルプランナとしての利用が検討されている。 しかし、これらのアプローチは、ノイズや準最適動作を持つ現実の環境では非現実的な低レベルポリシーから完全な実行を前提としている。 この問題を解決するために、事前訓練された低レベルポリシーを完全に破棄し、代わりにLCMを使用してクローズドループフレームワーク内で実行可能なコードプランを直接生成します。 私たちのプランナーは、頑丈で一般化可能なタスクプランを生成するために、段階的に構造化された例を含む、チェーン・オブ・ソート(CoT)による数ショットの学習を採用しています。 補足として、レポーターはRGB-Dを用いて結果を評価し、構造化されたフィードバックを提供する。 この設計では、ステップごとの推論を排除し、計算オーバーヘッドを減らし、以前の手法で観測されたエラーの蓄積を制限する。 我々のフレームワークは,LoHoRavens,CALVIN,Franka Kitchen,および乱雑な現実世界設定をまたいだ,30以上の多様かつ不明瞭なロングホライゾンタスクに対して,最先端のパフォーマンスを実現する。

関連論文リスト

• LLM-Grounded Dynamic Task Planning with Hierarchical Temporal Logic for Human-Aware Multi-Robot Collaboration [17.886091169216538]
  大規模言語モデル(LLM)は、オープンワールドのマルチロボットタスクを非専門家が指定できるようにする。 LLMの計画は実現性に欠けることが多く、特に長期のシナリオでは効率的ではない。 階層的仕様の推論を基礎としたニューロシンボリックな枠組みを提案する。
  論文  参考訳（メタデータ） (2026-02-10T07:11:36Z)
• V-CAGE: Context-Aware Generation and Verification for Scalable Long-Horizon Embodied Tasks [6.820118518027692]
  V-CAGEは、大規模なセマンティックアライメントデータセットを生成するクローズドループフレームワークである。 本研究では,シーン合成における幾何学的整合性を実現する文脈認識型インスタンス化機構を提案する。 また、階層的な命令分解モジュールを用いて、抽象意図と低レベル制御のギャップを埋める。
  論文  参考訳（メタデータ） (2026-01-21T16:41:51Z)
• From Code to Action: Hierarchical Learning of Diffusion-VLM Policies [8.0703783175731]
  ロボット操作の模倣学習はしばしば、限られた一般化とデータ不足に悩まされる。 本稿では,コード生成型視覚言語モデル(VLM)を活用した階層型フレームワークを提案する。 この設計は、解釈可能なポリシーの分解を可能にし、フラットなポリシーと比較して一般化を改善し、高レベルの計画と低レベルの制御を別々に評価できるようにする。
  論文  参考訳（メタデータ） (2025-09-29T15:22:18Z)
• MapAgent: Trajectory-Constructed Memory-Augmented Planning for Mobile Task Automation [5.433829353194621]
  MapAgentは、過去のトラジェクトリから構築されたメモリを活用して、現在のタスク計画を強化するフレームワークである。 本稿では,メモリデータベースから関連ページを類似性に基づいて検索するタスクプランニング手法を提案する。 実世界のシナリオにおける結果は、MapAgentが既存のメソッドよりも優れたパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2025-07-29T16:05:32Z)
• Gondola: Grounded Vision Language Planning for Generalizable Robotic Manipulation [62.711546725154314]
  一般化可能なロボット操作のための大規模言語モデル(LLM)に基づく基盤的視覚言語計画モデルであるゴンドラについて紹介する。 G Gondola氏はマルチビューイメージとヒストリプランを使って、インターリーブされたテキストとターゲットオブジェクトとロケーションのセグメンテーションマスクを備えた次のアクションプランを作成する。 G Gondolaは、GemBenchデータセットの4つのレベルすべてにわたって、最先端のLCMベースのメソッドよりも優れています。
  論文  参考訳（メタデータ） (2025-06-12T20:04:31Z)
• LoHoVLA: A Unified Vision-Language-Action Model for Long-Horizon Embodied Tasks [31.3295171851909]
  実世界のエンボディエージェントは、マルチステップソリューションを必要とするハイレベルな目標に直面します。 ロングホライゾンタスクは、ハイレベルなタスクプランニングと低レベルなモーションコントロールを必要とする。 我々は,LoHoVLAと呼ばれる長期タスクのための統合視覚言語フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-31T06:01:03Z)
• Unlocking Smarter Device Control: Foresighted Planning with a World Model-Driven Code Execution Approach [82.27842884709378]
  本研究では,自然言語理解と構造化推論を優先し,エージェントの環境に対するグローバルな理解を高める枠組みを提案する。 本手法は,従来の手法,特にタスク成功率の44.4%向上を達成している。
  論文  参考訳（メタデータ） (2025-05-22T09:08:47Z)
• LangPert: Detecting and Handling Task-level Perturbations for Robust Object Rearrangement [21.236557779562794]
  LangPertはTLP(Task-Level Perturbations)の検出と緩和を目的とした言語ベースのフレームワークである。 LangPertはVisual Language Model (VLM)を統合し、ポリシーのスキル実行と環境TLPを包括的に監視する。 実験の結果,LangPertはベースライン法よりも多種多様なTLP状況を効果的に処理できることがわかった。
  論文  参考訳（メタデータ） (2025-04-14T05:39:15Z)
• MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation [62.854649499866774]
  大規模言語モデル(LLM)は、ロボティクスの操作やナビゲーションなど、さまざまな領域にまたがる優れた計画能力を示している。 特殊なLLMエージェント間で高レベル計画および低レベル制御コード生成を分散する新しいマルチエージェントLLMフレームワークを提案する。 長軸タスクを含む9つのRLBenchタスクに対するアプローチを評価し、ゼロショット環境でロボット操作を解く能力を実証した。
  論文  参考訳（メタデータ） (2024-11-26T17:53:44Z)
• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Spatial Reasoning and Planning for Deep Embodied Agents [2.7195102129095003]
  この論文は空間的推論と計画タスクのためのデータ駆動手法の開発を探求する。 学習効率、解釈可能性、新しいシナリオ間の伝達可能性の向上に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-28T23:05:56Z)
• Long-horizon Embodied Planning with Implicit Logical Inference and Hallucination Mitigation [7.668848364013772]
  本稿では,RelePについて紹介する。 ReLEPは、微調整を通じて暗黙的な論理的推論を学習することで、コンテキスト内の例を使わずに、幅広い長距離タスクを完了することができる。
  論文  参考訳（メタデータ） (2024-09-24T01:47:23Z)
• Policy Adaptation via Language Optimization: Decomposing Tasks for Few-Shot Imitation [49.43094200366251]
  本稿では,タスク分解のセマンティック理解を生かした,未確認タスクへの数発適応のための新しいアプローチを提案する。 我々の手法であるPALO(Policy Adaptation via Language Optimization)は,タスクのいくつかの実演と,提案する言語分解とを組み合わせる。 PALOは、実世界の長期・多層的なタスクを一貫して完了することができ、事前訓練されたジェネラリスト政策の状況よりも優れています。
  論文  参考訳（メタデータ） (2024-08-29T03:03:35Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Plan-Seq-Learn: Language Model Guided RL for Solving Long Horizon Robotics Tasks [50.27313829438866]
  Plan-Seq-Learn (PSL) は、抽象言語と学習した低レベル制御の間のギャップを埋めるためにモーションプランニングを使用するモジュラーアプローチである。 PSLは85%以上の成功率、言語ベース、古典的、エンドツーエンドのアプローチを達成している。
  論文  参考訳（メタデータ） (2024-05-02T17:59:31Z)
• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• LoHoRavens: A Long-Horizon Language-Conditioned Benchmark for Robotic Tabletop Manipulation [38.66406497318709]
  この研究はテーブルトップ操作タスクに焦点を当て、色、サイズ、空間、算術、参照にまたがる様々なロングホライゾン推論側面をカバーするシミュレーションベンチマークである textitLoHoRavens をリリースする。 LLMに明示的および暗黙的な観察フィードバックを組み込むためのキャプション生成と学習可能なインタフェースの2つの方法を検討した。
  論文  参考訳（メタデータ） (2023-10-18T14:53:14Z)
• Generalizable Long-Horizon Manipulations with Large Language Models [91.740084601715]
  本研究は,Large Language Models (LLMs) の機能を活用して,汎用可能な長距離操作のための原始的なタスク条件を生成するフレームワークを導入する。 我々は,Pybulletに基づくロボット操作タスクスイートを作成し,長期作業評価を行う。
  論文  参考訳（メタデータ） (2023-10-03T17:59:46Z)
• Plan, Eliminate, and Track -- Language Models are Good Teachers for Embodied Agents [99.17668730578586]
  事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。 Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。 PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
  論文  参考訳（メタデータ） (2023-05-03T20:11:22Z)
• Efficient Learning of High Level Plans from Play [57.29562823883257]
  本稿では,移動計画と深いRLを橋渡しするロボット学習のフレームワークであるELF-Pについて紹介する。 ELF-Pは、複数の現実的な操作タスクよりも、関連するベースラインよりもはるかに優れたサンプル効率を有することを示す。
  論文  参考訳（メタデータ） (2023-03-16T20:09:47Z)
• ProgPrompt: Generating Situated Robot Task Plans using Large Language Models [68.57918965060787]
  大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。 本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T20:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。