論文の概要: Heterogeneous Robot Collaboration in Unstructured Environments with Grounded Generative Intelligence
- arxiv url: http://arxiv.org/abs/2510.26915v1
- Date: Thu, 30 Oct 2025 18:24:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-03 17:52:15.889936
- Title: Heterogeneous Robot Collaboration in Unstructured Environments with Grounded Generative Intelligence
- Title(参考訳): 接地型生成知能を用いた非構造環境における異種ロボットの協調
- Authors: Zachary Ravichandran, Fernando Cladera, Ankit Prabhu, Jason Hughes, Varun Murali, Camillo Taylor, George J. Pappas, Vijay Kumar,
- Abstract要約: 大規模言語モデル(LLM)対応のチーム化手法は、よく構造化された既知の環境を前提とするのが一般的である。
異種ロボットチームにおけるLCMの推論能力を基盤として,これらの制約に対処するフレームワークであるSPINE-HTを提案する。
我々のフレームワークは、従来のLLM対応の不均一なチームリング手法と比較して、ほぼ2倍の成功率を達成する。
- 参考スコア(独自算出の注目度): 54.91177026001217
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Heterogeneous robot teams operating in realistic settings often must accomplish complex missions requiring collaboration and adaptation to information acquired online. Because robot teams frequently operate in unstructured environments -- uncertain, open-world settings without prior maps -- subtasks must be grounded in robot capabilities and the physical world. While heterogeneous teams have typically been designed for fixed specifications, generative intelligence opens the possibility of teams that can accomplish a wide range of missions described in natural language. However, current large language model (LLM)-enabled teaming methods typically assume well-structured and known environments, limiting deployment in unstructured environments. We present SPINE-HT, a framework that addresses these limitations by grounding the reasoning abilities of LLMs in the context of a heterogeneous robot team through a three-stage process. Given language specifications describing mission goals and team capabilities, an LLM generates grounded subtasks which are validated for feasibility. Subtasks are then assigned to robots based on capabilities such as traversability or perception and refined given feedback collected during online operation. In simulation experiments with closed-loop perception and control, our framework achieves nearly twice the success rate compared to prior LLM-enabled heterogeneous teaming approaches. In real-world experiments with a Clearpath Jackal, a Clearpath Husky, a Boston Dynamics Spot, and a high-altitude UAV, our method achieves an 87\% success rate in missions requiring reasoning about robot capabilities and refining subtasks with online feedback. More information is provided at https://zacravichandran.github.io/SPINE-HT.
- Abstract(参考訳): 現実的な環境で動作している異種ロボットチームは、しばしば、オンラインで取得した情報に協力と適応を必要とする複雑なミッションを達成しなければならない。
ロボットチームはしばしば非構造環境(以前の地図のない未確認のオープンワールド設定)で活動するため、サブタスクはロボットの能力と物理的な世界に根ざさなければならない。
異質なチームは一般的に固定された仕様のために設計されているが、生成的知性は自然言語で記述された幅広いミッションを達成できるチームの可能性を開く。
しかしながら、現在の大規模言語モデル(LLM)対応のチーム化手法は、よく構造化された既知の環境を前提としており、非構造化環境でのデプロイメントを制限している。
本研究では,これらの制約に対処するフレームワークであるSPINE-HTを提案する。
ミッション目標とチームの能力を記述した言語仕様が与えられた場合、LLMは、実現可能性を検証するための基礎的なサブタスクを生成する。
サブタスクは、移動性や知覚などの能力に基づいてロボットに割り当てられ、オンライン操作中に収集されたフィードバックを洗練される。
閉ループ認識と制御によるシミュレーション実験では, 従来のLLM対応ヘテロジニアス・チームリングに比べて, ほぼ2倍の成功率を達成した。
Clearpath Jackal、Clearpath Husky、Boston Dynamics Spot、高高度UAVを用いた実世界の実験では、ロボット能力の推論や、オンラインフィードバックによるサブタスクの精製を必要とするミッションにおいて、87倍の成功率を達成した。
詳細はhttps://zacravichandran.github.io/SPINE-HT.comで確認できる。
関連論文リスト
- Deploying Foundation Model-Enabled Air and Ground Robots in the Field: Challenges and Opportunities [65.98704516122228]
基礎モデル(FM)をロボット工学に統合することで、ロボットは自然言語を理解し、環境のセマンティクスを推論できるようになった。
本稿では,FM対応ロボットを現場に展開する上で,大規模で非構造的な環境下でのロボットの運用に必要なミッションについて述べる。
数kmのミッションを持つ非構造環境下での大規模LLM対応ロボット計画の実証実験を行った。
論文 参考訳(メタデータ) (2025-05-14T15:28:43Z) - Air-Ground Collaboration for Language-Specified Missions in Unknown Environments [62.56917065429864]
本稿では,無人航空機 (UAV) と無人地上機 (UGV) が,自然言語で指定されたミッションを協調的に達成できる,第一種システムを提案する。
我々は、Large Language Model(LLM)対応プランナーを利用して、オンライン上に構築され、航空ロボットと地上ロボットの間で機会的に共有されるセマンティック・メトリック・マップを推論する。
論文 参考訳(メタデータ) (2025-05-14T03:33:46Z) - SPINE: Online Semantic Planning for Missions with Incomplete Natural Language Specifications in Unstructured Environments [27.485636944766718]
大規模言語モデル(LLM)は、様々なロボットタスクに対して強力な文脈推論能力を示している。
SPINEは、自然言語で提供される不完全なミッション仕様を持つミッションのためのオンラインプランナーである。
意味論的推論と探索の複数のステップを必要とするミッションを用いてシミュレーションおよび実世界の設定においてSPINEを評価する。
論文 参考訳(メタデータ) (2024-10-03T22:41:47Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳(メタデータ) (2024-02-22T15:12:00Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z) - ProgPrompt: Generating Situated Robot Task Plans using Large Language
Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。
本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文 参考訳(メタデータ) (2022-09-22T20:29:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。