論文の概要: ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning

• arxiv url: http://arxiv.org/abs/2406.19741v2
• Date: Tue, 2 Jul 2024 15:33:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 12:13:48.830358
• Title: ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning
• Title（参考訳）: ROS-LLM:タスクフィードバックと構造化推論を備えたAI具体化のためのROSフレームワーク
• Authors: Christopher E. Mower, Yuhui Wan, Hongzhan Yu, Antoine Grosnit, Jonas Gonzalez-Billandon, Matthieu Zimmer, Jinlong Wang, Xinyu Zhang, Yao Zhao, Anbang Zhai, Puze Liu, Daniel Palenicek, Davide Tateo, Cesar Cadena, Marco Hutter, Jan Peters, Guangjian Tian, Yuzheng Zhuang, Kun Shao, Xingyue Quan, Jianye Hao, Jun Wang, Haitham Bou-Ammar,
• Abstract要約: 非専門家による直感的なロボットプログラミングのためのフレームワークを提案する。 ロボットオペレーティングシステム(ROS)からの自然言語のプロンプトと文脈情報を活用する 我々のシステムは,大規模言語モデル (LLM) を統合し,非専門家がチャットインタフェースを通じてシステムにタスク要求を記述できるようにする。
• 参考スコア（独自算出の注目度）: 74.58666091522198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a framework for intuitive robot programming by non-experts, leveraging natural language prompts and contextual information from the Robot Operating System (ROS). Our system integrates large language models (LLMs), enabling non-experts to articulate task requirements to the system through a chat interface. Key features of the framework include: integration of ROS with an AI agent connected to a plethora of open-source and commercial LLMs, automatic extraction of a behavior from the LLM output and execution of ROS actions/services, support for three behavior modes (sequence, behavior tree, state machine), imitation learning for adding new robot actions to the library of possible actions, and LLM reflection via human and environment feedback. Extensive experiments validate the framework, showcasing robustness, scalability, and versatility in diverse scenarios, including long-horizon tasks, tabletop rearrangements, and remote supervisory control. To facilitate the adoption of our framework and support the reproduction of our results, we have made our code open-source. You can access it at: https://github.com/huawei-noah/HEBO/tree/master/ROSLLM.
• Abstract（参考訳）: 本稿では,ロボットオペレーティング・システム(ROS)の自然言語プロンプトと文脈情報を活用する,非専門家による直感的なロボットプログラミングのためのフレームワークを提案する。 我々のシステムは,大規模言語モデル (LLM) を統合し,非専門家がチャットインタフェースを通じてシステムにタスク要求を記述できるようにする。 フレームワークの主な特徴は、オープンソースのLLMと接続されたAIエージェントとのROSの統合、LLM出力からの行動の自動抽出、ROSアクション/サービスの実行、3つの動作モード(シーケンス、行動ツリー、状態マシン)のサポート、可能なアクションのライブラリに新しいロボットアクションを追加する模倣学習、人間と環境のフィードバックによるLCMリフレクションである。 大規模な実験により、長期のタスク、テーブルトップの再配置、リモート監視制御など、さまざまなシナリオにおける堅牢性、スケーラビリティ、汎用性を示すフレームワークが検証された。 フレームワークの採用を容易にし、その結果の再現をサポートするため、コードをオープンソースにしました。 https://github.com/huawei-noah/HEBO/tree/master/ROSLLM

関連論文リスト

• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  大規模言語モデル(LLM)は、広い世界知識と強力な推論スキルを備えており、ドメイン間の多様なタスクに対処することができる。 LLaRA:Large Language and Robotics Assistantは,ロボットの行動ポリシーを会話として定式化するフレームワークである。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual Prompting [106.53784213239479]
  Moka(Marking Open-vocabulary Keypoint Affordances)は,視覚言語モデルを用いたロボット操作タスクの解法である。 我々のアプローチの核心は、物理的世界におけるVLMのRGB画像とロボットの動きの予測を橋渡しする、手頃さと動きのコンパクトなポイントベース表現である。 我々は,自由形式の言語記述によって規定される様々な操作タスクに対して,Mokaの性能を評価し,分析する。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Modular Customizable ROS-Based Framework for Rapid Development of Social Robots [3.6622737533847936]
  本稿では、このニーズに対処するオープンソースのフレームワークである、SROS(Socially-Interactive Robot Software Platform)について述べる。 特殊な知覚と対話のスキルは、任意のロボットに再利用可能な配置のためのROSサービスとして実装されている。 コンピュータビジョン, 音声処理, GPT2 自動補完音声をプラグアンドプレイ ROS サービスとして実装し, SROS のコア技術の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2023-11-27T12:54:20Z)
• RoboLLM: Robotic Vision Tasks Grounded on Multimodal Large Language Models [4.4173427917548524]
  MLLM(Multimodal Large Language Models)は、様々な下流タスクのための新しいバックボーンとして登場した。 我々は、ARMBenchチャレンジにおける視覚的認識タスクに対処するため、BEiT-3バックボーンを備えたRoboLLMフレームワークを紹介した。
  論文  参考訳（メタデータ） (2023-10-16T09:30:45Z)
• RoCo: Dialectic Multi-Robot Collaboration with Large Language Models [13.260289557301688]
  我々は,事前学習された大規模言語モデル(LLM)のパワーを利用する,マルチロボット協調のための新しいアプローチを提案する。 そこで,RoCoはロボットエージェントとコミュニケーションし,協調してタスクを完了させることができる。
  論文  参考訳（メタデータ） (2023-07-10T17:52:01Z)
• Language to Rewards for Robotic Skill Synthesis [37.21434094015743]
  我々は,大規模言語モデル(LLM)を利用して,様々なロボットタスクを最適化し,達成可能な報酬パラメータを定義する新しいパラダイムを提案する。 LLMが生成する中間インタフェースとして報酬を用いることで、ハイレベルな言語命令と修正のギャップを、低レベルなロボット動作に効果的に埋めることができる。
  論文  参考訳（メタデータ） (2023-06-14T17:27:10Z)
• Chat with the Environment: Interactive Multimodal Perception Using Large Language Models [19.623070762485494]
  大型言語モデル(LLM)は、数発のロボット計画において顕著な推論能力を示している。 本研究は,LLMがマルチモーダル環境下での対話型ロボットの動作を制御し,高レベルな計画と推論能力を提供することを示す。
  論文  参考訳（メタデータ） (2023-03-14T23:01:27Z)
• ProgPrompt: Generating Situated Robot Task Plans using Large Language Models [68.57918965060787]
  大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。 本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T20:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。