論文の概要: Compositional Coordination for Multi-Robot Teams with Large Language Models
- arxiv url: http://arxiv.org/abs/2507.16068v1
- Date: Mon, 21 Jul 2025 21:09:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 21:34:13.894004
- Title: Compositional Coordination for Multi-Robot Teams with Large Language Models
- Title(参考訳): 大規模言語モデルを用いた複数ロボットチームの構成コーディネーション
- Authors: Zhehui Huang, Guangyao Shi, Yuwei Wu, Vijay Kumar, Gaurav S. Sukhatme,
- Abstract要約: 我々は,マルチロボット協調パイプラインを合理化し,一般化する新しいフレームワークであるLAN2CB(Language to Collective Behavior)を提案する。
LAN2CBは、自然言語のミッション記述を直接マルチロボットシステムの実行可能なPythonコードに変換する。
LAN2CBは、自然言語から効果的で柔軟なマルチロボットの協調を可能にし、手動工学の必要性を大幅に減らすことを示す。
- 参考スコア(独自算出の注目度): 22.35748083111824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-robot coordination has traditionally relied on a task-specific and expert-driven pipeline, where natural language mission descriptions are manually translated by domain experts into mathematical formulation, algorithm design, and executable code. This conventional process is labor-intensive, inaccessible to non-experts, and inflexible to changes in mission requirements. Here, we propose LAN2CB (Language to Collective Behavior), a novel framework that leverages large language models (LLMs) to streamline and generalize the multi-robot coordination pipeline. LAN2CB directly converts natural language mission descriptions into executable Python code for multi-robot systems through two key components: (1) Mission Decomposition for Task Representation, which parses the mission into a task graph with dependencies, and (2) Code Generation, which uses the task graph and a structured knowledge base to generate deployable robot control code. We further introduce a dataset of natural language mission specifications to support development and benchmarking. Experimental results in both simulation and real-world settings show that LAN2CB enables effective and flexible multi-robot coordination from natural language, significantly reducing the need for manual engineering while supporting generalization across mission types. Website: https://sites.google.com/view/lan2cb.
- Abstract(参考訳): マルチロボットの協調は伝統的にタスク固有の専門家主導のパイプラインに依存しており、自然言語のミッション記述はドメインの専門家によって手動で数学的定式化、アルゴリズム設計、実行可能コードに変換される。
このプロセスは、労働集約的で、非専門家に近づきにくく、ミッション要求の変化にも柔軟である。
本稿では,Language to Collective Behavior(LAN2CB)という,大規模言語モデル(LLM)を利用したマルチロボット協調パイプラインの合理化と一般化を行う新しいフレームワークを提案する。
LAN2CBは、自然言語のミッション記述を、(1)タスク表現のためのミッション分解(Mission Decomposition for Task Representation)、(2)タスクグラフと構造化知識ベースを使用して、デプロイ可能なロボット制御コードを生成するコード生成(Code Generation)という2つのキーコンポーネントを介して、マルチロボットシステムのための実行可能なPythonコードに変換する。
さらに、開発とベンチマークをサポートするために、自然言語ミッション仕様のデータセットを導入します。
シミュレーションと実世界設定の両方の実験結果から、LAN2CBは自然言語からの効果的で柔軟なマルチロボット協調を可能にし、ミッションタイプ間の一般化をサポートしながら、手動エンジニアリングの必要性を著しく低減することが示された。
Webサイト: https://sites.google.com/view/lan2cb
関連論文リスト
- Air-Ground Collaboration for Language-Specified Missions in Unknown Environments [62.56917065429864]
本稿では,無人航空機 (UAV) と無人地上機 (UGV) が,自然言語で指定されたミッションを協調的に達成できる,第一種システムを提案する。
我々は、Large Language Model(LLM)対応プランナーを利用して、オンライン上に構築され、航空ロボットと地上ロボットの間で機会的に共有されるセマンティック・メトリック・マップを推論する。
論文 参考訳(メタデータ) (2025-05-14T03:33:46Z) - LIAM: Multimodal Transformer for Language Instructions, Images, Actions and Semantic Maps [18.602777449136738]
言語,イメージ,アクション,マップの入力に基づいて,アクションの書き起こしを予測するエンド・ツー・エンドのモデルであるLIAMを提案する。
国内タスクのシミュレータ生成ベンチマークであるALFREDデータセットを用いて,本手法の評価を行った。
論文 参考訳(メタデータ) (2025-03-15T18:54:06Z) - CurricuLLM: Automatic Task Curricula Design for Learning Complex Robot Skills using Large Language Models [23.98878749958744]
CurricuLLMは複雑なロボット制御タスクのためのカリキュラム学習ツールである。
自然言語でサブタスクを生成し、サブタスクを実行可能なコードに変換する。
CurricuLLMは複雑なロボット制御タスクの学習を支援する。
論文 参考訳(メタデータ) (2024-09-27T01:48:16Z) - Towards No-Code Programming of Cobots: Experiments with Code Synthesis by Large Code Models for Conversational Programming [18.256529559741075]
LLM(Large Language Models)は、対話型コード生成のためのコンテキスト内学習を行うように設計されている。
本研究は,テキスト中の実例から,このようなコードを合成するための最先端のLLMの性能を評価する。
論文 参考訳(メタデータ) (2024-09-17T10:04:50Z) - Large Language Models for Orchestrating Bimanual Robots [19.60907949776435]
本稿では,Language-based Bimanual Orchestration (LABOR)を提案する。
NICOLヒューマノイドロボットを用いた2種類の長距離作業のシミュレーション実験により,本手法の評価を行った。
論文 参考訳(メタデータ) (2024-04-02T15:08:35Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳(メタデータ) (2024-02-22T15:12:00Z) - MEIA: Multimodal Embodied Perception and Interaction in Unknown Environments [82.67236400004826]
本稿では,自然言語で表現されたハイレベルなタスクを実行可能なアクションのシーケンスに変換するための,MEIA(Multimodal Embodied Interactive Agent)を提案する。
MEMモジュールは、多様な要件とロボットの能力に基づいて、MEIAが実行可能なアクションプランを生成することを可能にする。
論文 参考訳(メタデータ) (2024-02-01T02:43:20Z) - ChatDev: Communicative Agents for Software Development [84.90400377131962]
ChatDevはチャットを利用したソフトウェア開発フレームワークで、特別なエージェントがコミュニケーション方法についてガイドされる。
これらのエージェントは、統一された言語ベースのコミュニケーションを通じて、設計、コーディング、テストフェーズに積極的に貢献する。
論文 参考訳(メタデータ) (2023-07-16T02:11:34Z) - Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions
with Large Language Model [63.66204449776262]
Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。
我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。
我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
論文 参考訳(メタデータ) (2023-05-18T17:59:49Z) - VIMA: General Robot Manipulation with Multimodal Prompts [82.01214865117637]
ロボット操作タスクの幅広い範囲をマルチモーダルプロンプトで表現できることを示す。
我々は,数千の手続き的に生成されたテーブルトップタスクからなる新しいシミュレーションベンチマークを開発した。
我々は、これらのプロンプトを処理し、自動回帰的に運動動作を出力するトランスフォーマーベースのロボットエージェントVIMAを設計する。
論文 参考訳(メタデータ) (2022-10-06T17:50:11Z) - Grounding Language with Visual Affordances over Unstructured Data [26.92329260907805]
本研究では,非構造化,オフライン,リセットのないデータから,言語条件のロボットスキルを効率的に学習するための新しい手法を提案する。
我々は、言語による全データの1%しか必要としない自己教師型ビジュオ言語割当モデルを利用する。
提案手法は,従来の手法よりも桁違いに少ないデータで,リアルタイムに長時間の多層タスクを完了できることがわかった。
論文 参考訳(メタデータ) (2022-10-04T21:16:48Z) - ProgPrompt: Generating Situated Robot Task Plans using Large Language
Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。
本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文 参考訳(メタデータ) (2022-09-22T20:29:49Z) - Reshaping Robot Trajectories Using Natural Language Commands: A Study of
Multi-Modal Data Alignment Using Transformers [33.7939079214046]
我々は、人間とロボットのコラボレーションのための柔軟な言語ベースのインタフェースを提供する。
我々は、ユーザコマンドをエンコードする大規模言語モデルの分野における最近の進歩を生かしている。
言語コマンドによって修正されたロボット軌跡を含むデータセット上で、模倣学習を用いてモデルを訓練する。
論文 参考訳(メタデータ) (2022-03-25T01:36:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。