論文の概要: COHERENT: Collaboration of Heterogeneous Multi-Robot System with Large Language Models
- arxiv url: http://arxiv.org/abs/2409.15146v1
- Date: Wed, 25 Sep 2024 05:59:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 14:23:12.729095
- Title: COHERENT: Collaboration of Heterogeneous Multi-Robot System with Large Language Models
- Title(参考訳): CoHERENT:大規模言語モデルを用いた異種多ロボットシステムの協調
- Authors: Kehui Liu, Zixin Tang, Dong Wang, Zhigang Wang, Bin Zhao, Xuelong Li,
- Abstract要約: COHERENTは、異種マルチロボットシステムの協調のための新しいLCMベースのタスク計画フレームワークである。
提案-実行-フィードバック-調整機構は,個々のロボットに対して動作を分解・割り当てするように設計されている。
実験の結果,我々の研究は,成功率と実行効率の面で,従来の手法をはるかに上回っていることが明らかとなった。
- 参考スコア(独自算出の注目度): 49.24666980374751
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leveraging the powerful reasoning capabilities of large language models (LLMs), recent LLM-based robot task planning methods yield promising results. However, they mainly focus on single or multiple homogeneous robots on simple tasks. Practically, complex long-horizon tasks always require collaborations among multiple heterogeneous robots especially with more complex action spaces, which makes these tasks more challenging. To this end, we propose COHERENT, a novel LLM-based task planning framework for collaboration of heterogeneous multi-robot systems including quadrotors, robotic dogs, and robotic arms. Specifically, a Proposal-Execution-Feedback-Adjustment (PEFA) mechanism is designed to decompose and assign actions for individual robots, where a centralized task assigner makes a task planning proposal to decompose the complex task into subtasks, and then assigns subtasks to robot executors. Each robot executor selects a feasible action to implement the assigned subtask and reports self-reflection feedback to the task assigner for plan adjustment. The PEFA loops until the task is completed. Moreover, we create a challenging heterogeneous multi-robot task planning benchmark encompassing 100 complex long-horizon tasks. The experimental results show that our work surpasses the previous methods by a large margin in terms of success rate and execution efficiency. The experimental videos, code, and benchmark are released at https://github.com/MrKeee/COHERENT.
- Abstract(参考訳): 大規模言語モデル(LLM)の強力な推論機能を活用することで、最近のLLMベースのロボットタスク計画手法が有望な結果をもたらす。
しかし、それらは主に単純なタスクで単一または複数の同質なロボットに焦点を当てている。
実際には、複雑なロングホライゾンタスクは、特により複雑なアクション空間を持つ複数の異種ロボット間のコラボレーションを必要とするため、これらのタスクはより困難である。
この目的のために、我々は、四脚ロボット、ロボット犬、ロボットアームを含む異種多ロボットシステムの協調のための新しいLCMベースのタスク計画フレームワークであるCOHERENTを提案する。
具体的には,提案-実行-フィードバック-調整(PEFA)機構は,個別のロボットに対して,複雑なタスクをサブタスクに分解するタスク計画の提案を行い,そのサブタスクをロボット実行者に割り当てる。
各ロボット実行者は、割り当てられたサブタスクを実装するための実行可能なアクションを選択し、計画調整のためにタスク割り当て者に自己回帰フィードバックを報告する。
PEFAはタスクが完了するまでループする。
さらに,100の複雑な長距離タスクを含む異種マルチロボットタスク計画ベンチマークを作成する。
実験の結果,我々の研究は,成功率と実行効率の面で,従来の手法をはるかに上回っていることが明らかとなった。
実験ビデオ、コード、ベンチマークはhttps://github.com/MrKeee/COHERENT.comで公開されている。
関連論文リスト
- Robots Can Multitask Too: Integrating a Memory Architecture and LLMs for Enhanced Cross-Task Robot Action Generation [13.84245915608566]
大規模言語モデル(LLM)は、ロボットの知覚と身体能力による常識推論の基盤となるロボット応用に最近使用されている。
本稿では,タスク間を効果的に切り替える一方で,タスク間動作を生成するためのLLMをメモリプロセスに組み込むことに対処する。
その結果,5つのロボットタスクのベースラインよりも性能が大幅に向上し,ロボットの動作と適応タスク実行の知覚を組み合わせたLLMにメモリを統合する可能性が示された。
論文 参考訳(メタデータ) (2024-07-18T13:38:21Z) - Large Language Models for Orchestrating Bimanual Robots [19.60907949776435]
大型言語モデル (LLM) は様々なロボットタスクを制御している。
しかし、連続空間におけるコーディネートは双対問題にとって特に困難である。
本稿では,Language-based Bimanual Orchestration (LABOR)を提案する。
論文 参考訳(メタデータ) (2024-04-02T15:08:35Z) - Safe Task Planning for Language-Instructed Multi-Robot Systems using Conformal Prediction [11.614036749291216]
本稿では,S-ATLAS for Safe plAnning for Teams of Language-instructed Agentsを提案する。
提案したプランナは,ヘルプリクエストの総数を最小限に抑えながら,ユーザ特定タスクの成功率を達成することができることを示す。
論文 参考訳(メタデータ) (2024-02-23T15:02:44Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳(メタデータ) (2024-02-22T15:12:00Z) - LEMMA: Learning Language-Conditioned Multi-Robot Manipulation [21.75163634731677]
LanguagE-Conditioned Multi-robot Manipulation (LEMMA)
LeMMAは、手続き的に生成されるタスクが8種類あり、複雑さは様々である。
それぞれのタスクに対して,800の専門的なデモンストレーションと,トレーニングと評価のためのヒューマンインストラクションを提供します。
論文 参考訳(メタデータ) (2023-08-02T04:37:07Z) - RoCo: Dialectic Multi-Robot Collaboration with Large Language Models [13.260289557301688]
我々は,事前学習された大規模言語モデル(LLM)のパワーを利用する,マルチロボット協調のための新しいアプローチを提案する。
そこで,RoCoはロボットエージェントとコミュニケーションし,協調してタスクを完了させることができる。
論文 参考訳(メタデータ) (2023-07-10T17:52:01Z) - RObotic MAnipulation Network (ROMAN) $\unicode{x2013}$ Hybrid
Hierarchical Learning for Solving Complex Sequential Tasks [70.69063219750952]
ロボットマニピュレーションネットワーク(ROMAN)のハイブリッド階層型学習フレームワークを提案する。
ROMANは、行動クローニング、模倣学習、強化学習を統合することで、タスクの汎用性と堅牢な障害回復を実現する。
実験結果から,これらの専門的な操作専門家の組織化と活性化により,ROMANは高度な操作タスクの長いシーケンスを達成するための適切なシーケンシャルなアクティベーションを生成することがわかった。
論文 参考訳(メタデータ) (2023-06-30T20:35:22Z) - AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot
Manipulation [50.737355245505334]
本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。
得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
論文 参考訳(メタデータ) (2023-05-30T09:54:20Z) - ProgPrompt: Generating Situated Robot Task Plans using Large Language
Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。
本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文 参考訳(メタデータ) (2022-09-22T20:29:49Z) - Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。
本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。
我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
論文 参考訳(メタデータ) (2021-09-19T18:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。