論文の概要: Foundation Models to the Rescue: Deadlock Resolution in Connected Multi-Robot Systems
- arxiv url: http://arxiv.org/abs/2404.06413v2
- Date: Mon, 16 Sep 2024 22:05:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 22:20:44.231261
- Title: Foundation Models to the Rescue: Deadlock Resolution in Connected Multi-Robot Systems
- Title（参考訳）: 救助のための基礎モデル:連結型マルチロボットシステムにおけるデッドロック分解能
- Authors: Kunal Garg, Songyuan Zhang, Jacob Arkin, Chuchu Fan,
- Abstract要約: 接続型マルチエージェントロボットシステム(MRS)は、障害物環境下でデッドロックする傾向がある。
本稿では,大規模言語モデル (LLM) やテキスト・アンド・イメージモデル (VLM) をデッドロック解像度の高レベルプランナとして用いる可能性について検討する。
本稿では,基礎モデルに基づくハイレベルプランナが,MSSのリーダーをMSSのリーダーに割り当てることでデッドロックの解決を支援する階層的制御フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 11.012092202226855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Connected multi-agent robotic systems (MRS) are prone to deadlocks in an obstacle environment where the robots can get stuck away from their desired locations under a smooth low-level control policy. Without an external intervention, often in terms of a high-level command, a low-level control policy cannot resolve such deadlocks. Utilizing the generalizability and low data requirements of foundation models, this paper explores the possibility of using text-based models, i.e., large language models (LLMs), and text-and-image-based models, i.e., vision-language models (VLMs), as high-level planners for deadlock resolution. We propose a hierarchical control framework where a foundation model-based high-level planner helps to resolve deadlocks by assigning a leader to the MRS along with a set of waypoints for the MRS leader. Then, a low-level distributed control policy based on graph neural networks is executed to safely follow these waypoints, thereby evading the deadlock. We conduct extensive experiments on various MRS environments using the best available pre-trained LLMs and VLMs. We compare their performance with a graph-based planner in terms of effectiveness in helping the MRS reach their target locations and computational time. Our results illustrate that, compared to grid-based planners, the foundation models perform better in terms of the goal-reaching rate and computational time for complex environments, which helps us conclude that foundation models can assist MRS operating in complex obstacle-cluttered environments to resolve deadlocks efficiently.
- Abstract（参考訳）: 接続型マルチエージェントロボットシステム(MRS)は、スムーズな低レベル制御ポリシーの下で、ロボットが所望の場所から遠ざかる障害環境でデッドロックする傾向がある。
外部の介入がなければ、しばしばハイレベルなコマンドによって、低レベルな制御ポリシーはそのようなデッドロックを解決できない。
本稿では,基礎モデルの一般化可能性と低データ要求を利用して,大規模言語モデル(LLM)やテキスト・画像モデル(VLM)をデッドロック解像度の高レベルプランナとして用いる可能性を検討する。
本稿では,基礎モデルに基づくハイレベルプランナが,MSSのリーダーをMSSのリーダーに割り当てることでデッドロックの解決を支援する階層的制御フレームワークを提案する。
そして、グラフニューラルネットワークに基づく低レベルの分散制御ポリシーを実行し、これらの経路ポイントを安全に追従し、デッドロックを回避する。
我々は,様々なMSS環境において,最高の学習済みLLMとVLMを用いた広範囲な実験を行った。
MRSが目標地点や計算時間に到達するのに有効なグラフベースのプランナと比較する。
筆者らは, グリッド型プランナと比較して, 複雑な環境における目標達成率と計算時間の観点から, 基礎モデルは, デッドロックを効率的に解決するために, 複雑な障害物処理環境におけるMSSの動作を支援することができると結論づけた。
関連論文リスト
- MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation [52.739500459903724]
大規模言語モデル(LLM)は、ロボティクスの操作やナビゲーションなど、さまざまな領域にまたがる優れた計画能力を示している。
特殊なLLMエージェント間で高レベル計画および低レベル制御コード生成を分散する新しいマルチエージェントLLMフレームワークを提案する。
長軸タスクを含む9つのRLBenchタスクに対するアプローチを評価し、ゼロショット環境でロボット操作を解く能力を実証した。
論文 参考訳（メタデータ） (2024-11-26T17:53:44Z) - ET-Plan-Bench: Embodied Task-level Planning Benchmark Towards Spatial-Temporal Cognition with Foundation Models [39.606908488885125]
ET-Plan-Benchは、Large Language Models (LLMs) を用いたタスク計画の具体化のためのベンチマークである。
様々な難易度や複雑さのレベルにおいて、制御可能で多様な実施タスクが特徴である。
我々のベンチマークでは、大規模で定量化され、高度に自動化され、きめ細かな診断フレームワークとして認識されている。
論文 参考訳（メタデータ） (2024-10-02T19:56:38Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。
私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
論文 参考訳（メタデータ） (2023-10-09T17:56:53Z) - Layered controller synthesis for dynamic multi-agent systems [0.0]
本稿では,多エージェント制御問題に対する階層的アプローチを3段階に分割する。
SWA-SMTソリューションは,ニューラルネットワーク制御ポリシ獲得を目的とした,最終段階の初期トレーニングデータセットとして使用しています。
論文 参考訳（メタデータ） (2023-07-13T13:56:27Z) - Fully Decentralized Model-based Policy Optimization for Networked
Systems [23.46407780093797]
本研究の目的は,モデルベース学習によるマルチエージェント制御のデータ効率の向上である。
エージェントが協力的であり、隣人とのみローカルに通信するネットワークシステムについて検討する。
提案手法では,各エージェントが将来の状態を予測し,通信によって予測をブロードキャストする動的モデルを学習し,その後,モデルロールアウトに基づいてポリシーをトレーニングする。
論文 参考訳（メタデータ） (2022-07-13T23:52:14Z) - Evaluating model-based planning and planner amortization for continuous
control [79.49319308600228]
我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。
モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。
モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
論文 参考訳（メタデータ） (2021-10-07T12:00:40Z) - Modular Deep Reinforcement Learning for Continuous Motion Planning with
Temporal Logic [59.94347858883343]
本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。
LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。
モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
論文 参考訳（メタデータ） (2021-02-24T01:11:25Z) - Learning High-Level Policies for Model Predictive Control [54.00297896763184]
Model Predictive Control (MPC)は、ロボット制御タスクに対する堅牢なソリューションを提供する。
ニューラルネットワークの高レベルポリシーを学習するための自己教師付き学習アルゴリズムを提案する。
提案手法は, 標準的なMPCでは困難な状況に対処できることを示す。
論文 参考訳（メタデータ） (2020-07-20T17:12:34Z) - From proprioception to long-horizon planning in novel environments: A
hierarchical RL model [4.44317046648898]
本稿では,異なるタイプの推論を反映した,単純で3段階の階層型アーキテクチャを提案する。
本手法をMujoco Ant環境における一連のナビゲーションタスクに適用する。
論文 参考訳（メタデータ） (2020-06-11T17:19:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。