論文の概要: RoboAgent: Chaining Basic Capabilities for Embodied Task Planning

• arxiv url: http://arxiv.org/abs/2604.07774v1
• Date: Thu, 09 Apr 2026 04:01:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.682533
• Title: RoboAgent: Chaining Basic Capabilities for Embodied Task Planning
• Title（参考訳）: RoboAgent: タスクプランニングの基本的な機能
• Authors: Peiran Xu, Jiaqi Zheng, Yadong Mu,
• Abstract要約: 本稿では,エージェントが環境から視覚的観察を取得し,与えられたタスクを達成するためのアトミックアクションを実行する,具体的タスク計画に焦点を当てる。 本稿では,機能駆動型計画パイプラインであるRoboAgentを提案する。 我々は,(1)専門家プランによる行動クローニング,(2)モデルで収集した軌跡を用いたDAggerトレーニング,(3)専門家ポリシーによる強化学習からなる多段階的パラダイムを用いている。
• 参考スコア（独自算出の注目度）: 46.248451288196435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focuses on embodied task planning, where an agent acquires visual observations from the environment and executes atomic actions to accomplish a given task. Although recent Vision-Language Models (VLMs) have achieved impressive results in multimodal understanding and reasoning, their performance remains limited when applied to embodied planning that involves multi-turn interaction, long-horizon reasoning, and extended context analysis. To bridge this gap, we propose RoboAgent, a capability-driven planning pipeline in which the model actively invokes different sub-capabilities. Each capability maintains its own context, and produces intermediate reasoning results or interacts with the environment according to the query given by a scheduler. This framework decomposes complex planning into a sequence of basic vision-language problems that VLMs can better address, enabling a more transparent and controllable reasoning process. The scheduler and all capabilities are implemented with a single VLM, without relying on external tools. To train this VLM, we adopt a multi-stage paradigm that consists of: (1) behavior cloning with expert plans, (2) DAgger training using trajectories collected by the model, and (3) reinforcement learning guided by an expert policy. Across these stages, we exploit the internal information of the environment simulator to construct high-quality supervision for each capability, and we further introduce augmented and synthetic data to enhance the model's performance in more diverse scenarios. Extensive experiments on widely used embodied task planning benchmarks validate the effectiveness of the proposed approach. Our codes will be available at https://github.com/woyut/RoboAgent_CVPR26.
• Abstract（参考訳）: 本稿では,エージェントが環境から視覚的観察を取得し,与えられたタスクを達成するためのアトミックアクションを実行する,具体的タスク計画に焦点を当てる。 近年のVision-Language Models (VLM) はマルチモーダル理解と推論において顕著な成果を上げているが、マルチターンインタラクション、ロングホライゾン推論、拡張コンテキスト解析を含む具体的計画に適用した場合、その性能は制限されている。 このギャップを埋めるために、モデルが異なるサブ機能を呼び出す能力駆動型計画パイプラインであるRoboAgentを提案する。 各機能は独自のコンテキストを維持し、中間的な推論結果を生成したり、スケジューラから与えられたクエリに従って環境と対話する。 このフレームワークは複雑な計画を、VLMがよりうまく対処できる基本的な視覚言語問題に分解し、より透明で制御可能な推論プロセスを可能にする。 スケジューラとすべての機能は、外部ツールに頼ることなく、単一のVLMで実装されている。 このVLMの訓練には,(1)専門家プランによる行動クローニング,(2)モデルによるトラジェクトリを用いたダガートレーニング,(3)専門家ポリシーによる強化学習など,多段階のパラダイムを採用する。 これらの段階にわたって、環境シミュレータの内部情報を利用して、各能力の高品質な監視を構築するとともに、より多様なシナリオにおいてモデルの性能を高めるために、拡張データや合成データも導入する。 広く使われている実施型タスク計画ベンチマークの大規模な実験により,提案手法の有効性が検証された。 私たちのコードはhttps://github.com/woyut/RoboAgent_CVPR26で公開されます。

関連論文リスト

• MaP-AVR: A Meta-Action Planner for Agents Leveraging Vision Language Models and Retrieval-Augmented Generation [18.84633713315585]
  複雑な日々のタスクを管理するように設計されたロボットAIシステムは、ハイレベルなタスクを理解し分解するためのタスクプランナーに依存している。 本稿は、計画されたスキルセットを定義することが同様に重要である、と論じる。 日々の環境の複雑さに対処するためには、スキルセットは高度な一般化能力を持つべきである。
  論文  参考訳（メタデータ） (2025-12-22T14:58:52Z)
• Spatial Reasoning and Planning for Deep Embodied Agents [2.7195102129095003]
  この論文は空間的推論と計画タスクのためのデータ駆動手法の開発を探求する。 学習効率、解釈可能性、新しいシナリオ間の伝達可能性の向上に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-28T23:05:56Z)
• Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning [79.38140606606126]
  強化学習(RL)を用いた視覚言語モデル(VLM)を微調整するアルゴリズムフレームワークを提案する。 我々のフレームワークはタスク記述を提供し、次にVLMにチェーン・オブ・シント(CoT)推論を生成するよう促す。 提案手法は,VLMエージェントの様々なタスクにおける意思決定能力を向上させる。
  論文  参考訳（メタデータ） (2024-05-16T17:50:19Z)
• EgoPlan-Bench: Benchmarking Multimodal Large Language Models for Human-Level Planning [84.6451394629312]
  実世界のシナリオにおけるMLLMの計画能力を評価するベンチマークであるEgoPlan-Benchを紹介する。 EgoPlan-Benchは、人間レベルのタスクプランニングを実現するためのMLLMの改善のかなりの範囲を浮き彫りにする。 また,EgoPlan-Bench上でのモデル性能を効果的に向上する特殊命令チューニングデータセットであるEgoPlan-ITを提案する。
  論文  参考訳（メタデータ） (2023-12-11T03:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。