論文の概要: Language-Conditioned Offline RL for Multi-Robot Navigation

• arxiv url: http://arxiv.org/abs/2407.20164v1
• Date: Mon, 29 Jul 2024 16:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 13:05:24.765960
• Title: Language-Conditioned Offline RL for Multi-Robot Navigation
• Title（参考訳）: 複数ロボットナビゲーションのための言語記述型オフラインRL
• Authors: Steven Morad, Ajay Shankar, Jan Blumenkamp, Amanda Prorok,
• Abstract要約: 本稿では,自然言語命令の解釈と追従を行うマルチロボットチームのためのナビゲーションポリシーの開発手法を提案する。 我々は、これらのポリシーを、事前訓練されたLarge Language Models (LLMs) からの埋め込みに課し、オフラインの強化学習を通じてそれらを訓練する。 5つの本物のロボットのチームが行った実験によると、これらのポリシーは目に見えないコマンドによく当てはまる。
• 参考スコア（独自算出の注目度）: 8.209668419808994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method for developing navigation policies for multi-robot teams that interpret and follow natural language instructions. We condition these policies on embeddings from pretrained Large Language Models (LLMs), and train them via offline reinforcement learning with as little as 20 minutes of randomly-collected data. Experiments on a team of five real robots show that these policies generalize well to unseen commands, indicating an understanding of the LLM latent space. Our method requires no simulators or environment models, and produces low-latency control policies that can be deployed directly to real robots without finetuning. We provide videos of our experiments at https://sites.google.com/view/llm-marl.
• Abstract（参考訳）: 本稿では,自然言語命令の解釈と追従を行うマルチロボットチームのためのナビゲーションポリシーの開発手法を提案する。 我々は、これらのポリシーを、事前訓練されたLarge Language Models (LLMs) からの埋め込みに当てはめ、ランダムに収集したデータを20分以内でオフラインで強化学習によって訓練する。 5つの本物のロボットによる実験では、これらのポリシーは目に見えないコマンドによく当てはまり、LCMの潜伏空間の理解が示される。 本手法ではシミュレータや環境モデルは必要とせず、微調整なしで実際のロボットに直接展開可能な低レイテンシ制御ポリシーを生成する。 実験のビデオはhttps://sites.google.com/view/llm-marl.comで公開しています。

関連論文リスト

• Grounding Robot Policies with Visuomotor Language Guidance [15.774237279917594]
  ロボットポリシーを現在の状況に基盤付けるためのエージェントベースのフレームワークを提案する。 提案するフレームワークは、特定の役割のために設計された会話エージェントのセットで構成されている。 弊社のアプローチは、操作ポリシーを効果的にガイドし、成功率を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2024-10-09T02:00:37Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  視覚言語モデル(VLM)は、状態情報を視覚的テキストのプロンプトとして処理し、テキスト内のポリシー決定に応答することができる。 LLaRA:Large Language and Robotics Assistantは,ロボットの行動ポリシーを会話として定式化するフレームワークである。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
  LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
  論文  参考訳（メタデータ） (2024-06-17T17:55:29Z)
• AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents [109.3804962220498]
  AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。 われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。 実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-01-23T18:45:54Z)
• Prompt a Robot to Walk with Large Language Models [18.214609570837403]
  巨大な言語モデル(LLM)は、大規模なインターネットスケールのデータで事前訓練されている。 物理的環境から収集した数発のプロンプトを使用する新しいパラダイムを導入する。 様々なロボットと環境をまたいだ実験により、我々の手法がロボットに歩行を効果的に促すことが検証された。
  論文  参考訳（メタデータ） (2023-09-18T17:50:17Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• GNM: A General Navigation Model to Drive Any Robot [67.40225397212717]
  視覚に基づくナビゲーションのための一般的な目標条件付きモデルは、多くの異なるが構造的に類似したロボットから得られたデータに基づいて訓練することができる。 ロボット間の効率的なデータ共有に必要な設計決定について分析する。 我々は、訓練されたGNMを、下四極子を含む様々な新しいロボットに展開する。
  論文  参考訳（メタデータ） (2022-10-07T07:26:41Z)
• Grounding Language with Visual Affordances over Unstructured Data [26.92329260907805]
  本研究では,非構造化,オフライン,リセットのないデータから,言語条件のロボットスキルを効率的に学習するための新しい手法を提案する。 我々は、言語による全データの1%しか必要としない自己教師型ビジュオ言語割当モデルを利用する。 提案手法は,従来の手法よりも桁違いに少ないデータで,リアルタイムに長時間の多層タスクを完了できることがわかった。
  論文  参考訳（メタデータ） (2022-10-04T21:16:48Z)
• LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action [76.71101507291473]
  本稿では,無注釈の大規模軌跡データに対するトレーニングの恩恵を享受するロボットナビゲーションシステムLM-Navを提案する。 本研究では,ナビゲーション(ViNG),画像言語アソシエーション(CLIP),言語モデリング(GPT-3)の事前学習モデルから構築可能なシステムについて述べる。
  論文  参考訳（メタデータ） (2022-07-10T10:41:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。