論文の概要: Let the Mind Conceive, Let the Hand Achieve: Following Multimodal Instructions for Long-Horizon Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2610.18352v1
• Date: Tue, 13 Oct 2026 13:20:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.61793
• Title: Let the Mind Conceive, Let the Hand Achieve: Following Multimodal Instructions for Long-Horizon Robotic Manipulation
• Title（参考訳）: 長軸ロボットマニピュレーションのためのマルチモーダルインストラクションに追随した心をつかまえて
• Abstract要約: 多段階の指示に従うロボットは、シーンが変化しても、適切な順序で適切なオブジェクトに作用する必要がある。 タスク計画と実行管理をアクション生成から分離するエージェントハーネスであるOrchestratorを導入する。 その結果,Orchestratorは,要求されたサブタスクの順序を保ち,指定されたオブジェクトに作用しながら,ロボットがより長いサブタスクのシーケンスを実行するのに役立つことがわかった。
• 参考スコア（独自算出の注目度）: 31.375635434375237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A robot following a multi-step instruction needs to act on the right objects in the right order, even as the scene changes. It must also maintain awareness of task progress and determine when to advance. To address these challenges, we introduce Orchestra, an agent harness that separates task planning and execution management from action generation. Orchestra decomposes a complete multimodal instruction into ordered subtasks, tracks completed steps, and updates the locations of relevant objects and destinations during execution. It maintains a shared context containing the active subtask, spatial grounding, and recent observations. An action policy uses this context to generate actions, while a separately trained progress evaluator estimates when to advance to the next subtask. To evaluate whether robots trained on atomic instructions and short trajectories can execute longer subtask sequences, we introduce a benchmark named RMBench-Compose. Orchestra achieves a mean success rate of $68.22\%$ across nine RMBench tasks, outperforming Mem-0 by $26.22$ percentage points. On RMBench-Compose, it achieves an Average Success Length (ASL) of $7.35$ subtasks, $2.46$ times that of HarnessVLA. Across four real-world multi-step tasks, it improves mean ASL by $25.0\%$ over Orchestra using the base $π_{0.5}$ policy. These results show that Orchestra helps robots carry out longer sequences of subtasks while preserving the requested subtask order and acting on the specified objects. Our code and project page are available at https://youpengwen.github.io/Orchestra.
• Abstract（参考訳）: 多段階の指示に従うロボットは、シーンが変化しても、適切な順序で適切なオブジェクトに作用する必要がある。 また、タスクの進捗に対する意識を維持し、いつ進むべきかを判断する必要がある。 これらの課題に対処するために,タスク計画と実行管理をアクション生成から分離するエージェントハーネスであるOrchestratorを導入する。 Orchestraは、順序付けられたサブタスクに完全なマルチモーダル命令を分解し、完了したステップを追跡し、実行中に関連するオブジェクトと宛先の位置を更新する。 アクティブなサブタスク、空間的な接地、最近の観測を含む共有コンテキストを維持している。 アクションポリシーは、このコンテキストを使用してアクションを生成し、個別に訓練された進捗評価器は、次のサブタスクに進むタイミングを推定する。 原子命令と短い軌道で訓練されたロボットがより長いサブタスクシーケンスを実行できるかどうかを評価するため、RMBench-Composeというベンチマークを導入する。 オーケストラは、RMBenchの9つのタスクの平均成功率は68.22 %で、Mem-0より26.22 %高い。 RMBench-Composeでは、平均継承長(ASL)が7.35ドル、HarnessVLAの2.46ドルである。 4つの実世界のマルチステップタスクの中で、平均的なASLを、π_{0.5}$ポリシーのベースを使って25.0\%のオーケストレーションで改善する。 これらの結果は,ロボットが要求されたサブタスクの順序を保ち,指定されたオブジェクトに作用しながら,より長いサブタスクのシーケンスを実行するのに役立つことを示している。 私たちのコードとプロジェクトページはhttps://youpengwen.github.io/Orchestra.orgで公開されている。

関連論文リスト

• TaskAnchor: Grounding Task State in Reactive VLAs for Long-Horizon Manipulation [49.02604313942616]
  VLA(Reactive Vision-Language-action)ポリシーは、長時間の操作においてタスク状態のエイリアスに悩まされる。 本稿では,VLAのネイティブ入力空間に実行コンテキストを注入することでタスク状態を基底とする軽量アダプタTaskAnchorを提案する。 長期のベンチマークではTaskAnchorが大幅に上昇し、pi0.5とX-VLAのベースラインの平均的な成功率の6倍に達する。
  論文  参考訳（メタデータ） (2026-09-20T11:57:10Z)
• GuideFetch: A Task Coordination Framework for Concurrent Navigation and Object Retrieval in Assistive Robot Dogs [38.9772084779486]
  textscGuideFetchは異種ロボットによる同時ガイド・アンド・フェッチミッションをコーディネートするためのフレームワークである。 我々は、スクリプトとオンラインの計画立案条件下で、90以上のシーンシードの組み合わせを実行している360シミュレータを記録している。 スケジュール、シーケンシャル、並列実行毎の90のシーンセットケースは、72/90ドル、71/90ドルの運用成功を達成する。
  論文  参考訳（メタデータ） (2026-08-18T20:16:57Z)
• $τ_0$-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation [51.05516457377339]
  ロングホライズンロボットの操作には、ロボットが個々のスキルを確実に実行し、拡張されたタスクに対してそれらを一貫性を持ってシーケンスする必要がある。 計算スケーリング可能な推論問題として高レベルサブタスク生成を定式化する階層型ロボット基盤モデルである$_0$-VLAを導入する。 低レベルポリシーは、生成されたサブタスクを複数のロボットエンボディメントにわたって実行する。
  論文  参考訳（メタデータ） (2026-08-17T17:59:11Z)
• COHERENT: Collaboration of Heterogeneous Multi-Robot System with Large Language Models [49.24666980374751]
  COHERENTは、異種マルチロボットシステムの協調のための新しいLCMベースのタスク計画フレームワークである。 提案-実行-フィードバック-調整機構は,個々のロボットに対して動作を分解・割り当てするように設計されている。 実験の結果,我々の研究は,成功率と実行効率の面で,従来の手法をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-09-23T15:53:41Z)
• Value-Informed Skill Chaining for Policy Learning of Long-Horizon Tasks with Surgical Robot [27.4555065056978]
  強化学習は、長年にわたる手術ロボットの課題の解決に苦戦している。 近年の手法では, スキルチェーンによってこの問題に対処しようとする。 本稿では,新しい強化学習フレームワークであるバリューインフォームド・スキル・チェーン(ViSkill)を紹介する。
  論文  参考訳（メタデータ） (2023-07-31T08:55:49Z)
• Robust Subtask Learning for Compositional Generalization [20.54144051436337]
  我々は、どんなタスクでも実行できるように、サブタスクポリシーをトレーニングする問題に焦点を合わせます。 我々は、平均的なケースのパフォーマンスとは対照的に、すべてのタスクで最悪のケースのパフォーマンスを最大化することを目指している。
  論文  参考訳（メタデータ） (2023-02-06T18:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。