論文の概要: CoPlanVLM: Coordinated Path Planning for a Robot Team using Vision Language Models
- arxiv url: http://arxiv.org/abs/2610.14341v1
- Date: Fri, 09 Oct 2026 21:35:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 22:03:31.882306
- Title: CoPlanVLM: Coordinated Path Planning for a Robot Team using Vision Language Models
- Title(参考訳): CoPlanVLM:視覚言語モデルを用いたロボットチームの協調経路計画
- Abstract要約: CoPlanVLMはビジョン言語モデル(VLM)を使用して、単一の自然言語命令とイメージを2つのロボットチームのための調整されたパスに変換する。
CoPlanVLMの平均成功率は84.4%であり、最も近いベースラインでは50.0%である。
- 参考スコア(独自算出の注目度): 7.694683283114808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present CoPlanVLM, which uses a Vision Language Model (VLM) to translate a single natural-language instruction and image into coordinated paths for a team of two robots. While VLMs offer a flexible, natural-language interface for commanding robot teams, their weak spatial reasoning has greatly limited VLM-based path planning. CoPlanVLM improves the VLM's spatial reasoning and path planning abilities through three components: (1) an image overlay marking both free space and obstacles, (2) task classification that selects the most appropriate low-level planner and reasoning prompt for each instruction, and (3) task-specific chain-of-thought reasoning that prompts the VLM to identify key objects, allocate roles, and verify routes are collision-free before committing to a plan. Together, these components enable the team to complete complex coordinated maneuvers requiring both robots and divide large tasks between robots to increase efficiency. CoPlanVLM also supports detailed maneuvers involving specific routes, loops, and coverage of large areas, as well as tasks requiring directional reasoning such as north/south or left/right. We validate CoPlanVLM in both Gazebo simulation and on physical Turtlebot 4 hardware. CoPlanVLM attains an average success rate of 84.4% compared to 50.0% for the closest baseline. On trials where both methods succeed, CoPlanVLM's paths are 27% shorter on average. Project code is available at https://github.com/AICPS/CoPlanVLM.
- Abstract(参考訳): 本稿では、視覚言語モデル(VLM)を用いて、ひとつの自然言語命令と画像を2つのロボットチームのための協調経路に変換するCoPlanVLMを提案する。
VLMはロボットチームを指揮するための柔軟な自然言語インタフェースを提供するが、その弱い空間推論はVLMベースの経路計画を大幅に制限している。
CoPlanVLM は VLM の空間的推論と経路計画能力を,(1) 自由空間と障害物の両方をマークした画像オーバーレイ,(2) 命令ごとの最も適切な低レベルプランナと推論プロンプトを選択するタスク分類,(3) キーオブジェクトの特定,役割の割り当て,ルートの検証を VLM に促すタスク固有のチェーン・オブ・プリート推論の3つのコンポーネントで改善する。
これらのコンポーネントを組み合わせることで、チームは両方のロボットを必要とする複雑な協調操作を完了し、ロボット間で大きなタスクを分割して効率を上げることができる。
CoPlanVLMは、特定のルート、ループ、広範囲のカバーを含む詳細な操作や、南北方向の推論や左右方向の推論を必要とするタスクもサポートしている。
我々は,GazeboシミュレーションとTurtlebot 4ハードウェアの両方でCoPlanVLMを検証する。
CoPlanVLMの平均成功率は84.4%であり、最も近いベースラインでは50.0%である。
どちらの方法も成功するトライアルでは、CoPlanVLMのパスは平均で27%短くなる。
プロジェクトコードはhttps://github.com/AICPS/CoPlanVLMで公開されている。
関連論文リスト
- Navigating the Clutter: Waypoint-Based Bi-Level Planning for Multi-Robot Systems [54.887871365121775]
乱雑な環境におけるマルチロボット制御は、複雑な物理的制約を伴う難しい問題である。
タスクとモーションプランニングを協調的に最適化するハイブリッドマルチロボット制御フレームワークを提案する。
我々のアプローチは、動作に依存しないベースラインとVLAベースのベースラインよりもタスクの成功を継続的に改善する。
論文 参考訳(メタデータ) (2026-04-22T22:58:47Z) - ST4VLA: Spatially Guided Training for Vision-Language-Action Models [80.35847468618276]
大規模視覚言語モデル(VLM)はマルチモーダル理解において優れるが、具体化されたタスクに拡張されると不足する。
本稿では,動作学習と空間的先行時間との整合性を実現するための2元系ビジョン・ランゲージ・アクション・フレームワークST4VLAを紹介する。
ST4VLAは、Google Robotでは66.1 -> 84.6、WidowX Robotでは54.7 -> 73.2、バニラVLAよりも大幅に改善されている。
論文 参考訳(メタデータ) (2026-02-10T18:59:17Z) - H-AIM: Orchestrating LLMs, PDDL, and Behavior Trees for Hierarchical Multi-Robot Planning [3.2800662172795114]
H-AIMは、新しいマルチロボットタスク計画フレームワークである。
命令を解析し、計画ドメイン定義言語(PDDL)問題記述を生成するために、大きな言語モデル(LLM)を利用する。
結果のプランを、リアクティブコントロールのための行動ツリーにコンパイルする。
論文 参考訳(メタデータ) (2026-01-16T07:59:50Z) - RoboCerebra: A Large-scale Benchmark for Long-horizon Robotic Manipulation Evaluation [59.9896841079005]
長距離ロボット操作における高レベル推論評価のためのベンチマークであるRoboCerebraを紹介する。
データセットはトップダウンパイプラインを通じて構築され、GPTはタスク命令を生成し、それらをサブタスクシーケンスに分解する。
以前のベンチマークと比較すると、RoboCerebraはアクションシーケンスが大幅に長く、アノテーションがより密度が高い。
論文 参考訳(メタデータ) (2025-06-07T06:15:49Z) - SmallPlan: Leverage Small Language Models for Sequential Path Planning with Simulation-Powered, LLM-Guided Distillation [22.71952631383849]
SmallPlanは、教師モデルとしてLarge Language Modelsを活用して、ハイレベルパス計画タスクのために軽量なSLM(Small Language Models)をトレーニングする新しいフレームワークである。
LLM誘導微調整(SFT)と強化学習(RL)を併用したシミュレーションによるインターリーブ方式のSLM訓練
本研究は, GPT-4oのような大型モデルと連続経路計画において, 幻覚や過剰適合に悩まされることなく, 微調整SLMが競合することを示す。
論文 参考訳(メタデータ) (2025-05-01T19:44:36Z) - REMAC: Self-Reflective and Self-Evolving Multi-Agent Collaboration for Long-Horizon Robot Manipulation [57.628771707989166]
本稿では,ReMACと呼ばれる適応型マルチエージェント計画フレームワークを提案する。
ReMACには2つの重要なモジュールが組み込まれており、ループ内で事前条件と後条件チェックを実行し、進捗と計画の洗練を評価する。
論文 参考訳(メタデータ) (2025-03-28T03:51:40Z) - Wonderful Team: Zero-Shot Physical Task Planning with Visual LLMs [0.0]
Wonderful Teamは、ゼロショットでハイレベルなロボット計画を実行するためのフレームワークだ。
実世界のセマンティックおよび物理的計画タスクにおけるWonderful Teamのパフォーマンスは、しばしば別々のビジョンシステムに依存するメソッドを超えることが示される。
論文 参考訳(メタデータ) (2024-07-26T21:18:57Z) - Plan-Seq-Learn: Language Model Guided RL for Solving Long Horizon Robotics Tasks [50.27313829438866]
Plan-Seq-Learn (PSL) は、抽象言語と学習した低レベル制御の間のギャップを埋めるためにモーションプランニングを使用するモジュラーアプローチである。
PSLは85%以上の成功率、言語ベース、古典的、エンドツーエンドのアプローチを達成している。
論文 参考訳(メタデータ) (2024-05-02T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。