論文の概要: Decoupling Planning and Control for Instructable Agents

• arxiv url: http://arxiv.org/abs/2608.26788v1
• Date: Thu, 27 Aug 2026 08:17:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.311417
• Title: Decoupling Planning and Control for Instructable Agents
• Title（参考訳）: インストラクタブルエージェントのデカップリング計画と制御
• Abstract要約: スパース,ハイランゲージ,ハイレベルテキスト命令を条件とした場合,世界モデルコントローラを高速で自律的に動作させるよう訓練する。 提案手法は,3つのマルチエージェント環境を含む7つの環境にまたがって評価する。 我々のアプローチは、コントローラのみおよび直接VLMアクション生成の亜種を一貫して上回り、高速な制御を保ち、微調整なしで異なる事前訓練されたVLMプランナーを交換できる。
• 参考スコア（独自算出の注目度）: 26.83206052047358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work shows that pre-trained, instruction-tuned vision-language models (VLMs) perform well at mapping from instructions and observations to high-level plans, but struggle to realize such plans as reliable low-latency action sequences in unfamiliar environments. At the same time, world-model controllers excel at fast observation-to-action control, but lack open-ended task guidance. In this work, we combine these strengths into a single system, Instruct-to-Act, where we train a world-model controller to act autonomously at high frequency when conditioned on sparse, higher-latency, and high-level text instructions generated by a VLM planner. To train controllers to be language-instructable, we relabel segments of controller policy rollouts with synthetic instructions and jointly optimize a behavior-cloning objective along with existing reward-maximizing and world-modeling objectives. We evaluate our proposed approach across seven embodied environments, including three multi-agent environments where VLM planners coordinate through language while trained controllers serve as their actuators. Under matched observation and action spaces, our decoupled approach consistently outperforms controller-only and direct VLM action-generation variants, preserves fast control, and lets us swap in different pretrained VLM planners without fine-tuning, while remaining competitive with strong vision-language-action and multi-agent RL baselines on six of seven tasks.
• Abstract（参考訳）: 近年の研究では、訓練済みの命令調整型視覚言語モデル(VLM)は、指示や観察から高レベルな計画へのマッピングに優れているが、不慣れな環境での信頼性の高い低遅延動作シーケンスのような計画の実現に苦慮している。 同時に、ワールドモデルコントローラは高速な観察・行動制御に優れるが、オープンなタスクガイダンスは欠如している。 本研究では,これらの強みを単一のシステムであるInstruct-to-Actと組み合わせ,VLMプランナが生成する疎度,高遅延,高レベルのテキスト命令を条件に,世界モデルコントローラを高速に動作させる訓練を行う。 言語教育が可能なコントローラを訓練するために,制御系ポリシーのロールアウトセグメントを合成命令で拡張し,既存の報酬最大化と世界モデリングの目的とともに行動閉鎖目標を協調的に最適化する。 VLMプランナが言語を介して協調し、訓練されたコントローラがアクチュエータとして機能する3つのマルチエージェント環境を含む,7つの具体的環境における提案手法の評価を行った。 一致した観察空間とアクション空間の下では、分離されたアプローチは、コントローラのみおよび直接的なVLMアクション生成の亜種を一貫して上回り、高速な制御を保ち、異なる事前訓練されたVLMプランナを微調整なしで交換できる一方で、強力な視覚言語アクションとマルチエージェントRLベースラインと6つのタスクで競合する。

関連論文リスト

• LLM-Based Hierarchical Coordinated Control with Continuation-Aware Policy Learning [6.69561560301489]
  複雑な工学系における複数の相互作用ユニットを協調する階層的枠組みを提案する。 継続対応GRPOを導入し、その後の制御区間における調整決定の結果を捉える。 マルチランプ交通制御と仮想電力プラント (VPP) エネルギー管理の枠組みを, 簡易なシステムモデルによる訓練と, より現実的なシミュレータを用いて検証した。
  論文  参考訳（メタデータ） (2026-08-15T05:00:02Z)
• Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation [34.87301719899886]
  視覚言語アクション(VLA)モデルは、事前訓練された視覚言語モデルを活用することで、ロボット操作において顕著な能力を示した。 既存のポストトレーニング手法は、主にVLAモデルをフラットポリシーとして最適化し、タスクの進行を明示的にモデル化し、堅牢な長距離操作を行うのが困難である。 階層型ロボット制御(HiRoC)は,ハイレベルなタスク計画と低レベルなアクション実行を分離する階層型ポストトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-08-06T13:07:56Z)
• Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance [108.46436073194546]
  効果的なプランニングは、ローカルで、視覚的に基礎があり、内部で生成され、アクションと直接整合するべきである、と私たちは主張する。 本稿では,タスク条件付きアベイランスをVLAモデル内で明示的な視覚的計画インターフェースとして内包する統合フレームワークであるAfford-VLAを提案する。
  論文  参考訳（メタデータ） (2026-05-22T20:43:47Z)
• Open-Ended Instruction Realization with LLM-Enabled Multi-Planner Scheduling in Autonomous Vehicles [40.195332742819865]
  本研究では,大規模言語モデル(LLM)を利用して命令を解釈する命令実現フレームワークを提案する。 リアルタイムフィードバックに基づいて、複数のモデル予測制御(MPC)ベースのモーションプランナをスケジュールする実行可能なスクリプトを生成し、計画されたトラジェクトリを制御信号に変換する。
  論文  参考訳（メタデータ） (2026-04-09T09:32:21Z)
• RoboAgent: Chaining Basic Capabilities for Embodied Task Planning [46.248451288196435]
  本稿では,エージェントが環境から視覚的観察を取得し,与えられたタスクを達成するためのアトミックアクションを実行する,具体的タスク計画に焦点を当てる。 本稿では,機能駆動型計画パイプラインであるRoboAgentを提案する。 我々は,(1)専門家プランによる行動クローニング,(2)モデルで収集した軌跡を用いたDAggerトレーニング,(3)専門家ポリシーによる強化学習からなる多段階的パラダイムを用いている。
  論文  参考訳（メタデータ） (2026-04-09T04:01:27Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• SteerVLM: Robust Model Control through Lightweight Activation Steering for Vision Language Models [4.506695482619111]
  本研究は、VLM(Vision-Language Models)のための軽量ステアリングモジュールであるSteerVLMを紹介する。 提案手法は,言語モダリティと画像コンテキストを接続するアクティベーションを動的に調整するために,ターゲットと逆動作を符号化するペアプロンプトの潜伏埋め込みから学習する。 我々の操舵モジュールは、元のVLMの大きさの0.14%に相当する学習パラメータを必要とする。
  論文  参考訳（メタデータ） (2025-10-30T17:52:39Z)
• Learning to Reason and Navigate: Parameter Efficient Action Planning with Large Language Models [63.765846080050906]
  本稿では,大規模言語モデル (PEAP-LLM) を用いたパラメータ効率の高いアクションプランナを提案する。 実験により,提案したREVERIEモデルが従来の最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-12T12:38:20Z)
• MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation [62.854649499866774]
  大規模言語モデル(LLM)は、ロボティクスの操作やナビゲーションなど、さまざまな領域にまたがる優れた計画能力を示している。 特殊なLLMエージェント間で高レベル計画および低レベル制御コード生成を分散する新しいマルチエージェントLLMフレームワークを提案する。 長軸タスクを含む9つのRLBenchタスクに対するアプローチを評価し、ゼロショット環境でロボット操作を解く能力を実証した。
  論文  参考訳（メタデータ） (2024-11-26T17:53:44Z)
• Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning [79.38140606606126]
  強化学習(RL)を用いた視覚言語モデル(VLM)を微調整するアルゴリズムフレームワークを提案する。 我々のフレームワークはタスク記述を提供し、次にVLMにチェーン・オブ・シント(CoT)推論を生成するよう促す。 提案手法は,VLMエージェントの様々なタスクにおける意思決定能力を向上させる。
  論文  参考訳（メタデータ） (2024-05-16T17:50:19Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。