論文の概要: One to rule them all: natural language to bind communication, perception and action

• arxiv url: http://arxiv.org/abs/2411.15033v1
• Date: Fri, 22 Nov 2024 16:05:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:02:45.161209
• Title: One to rule them all: natural language to bind communication, perception and action
• Title（参考訳）: 全てを規定する:コミュニケーション、知覚、行動に結びつく自然言語
• Authors: Simone Colombani, Dimitri Ognibene, Giuseppe Boccignone,
• Abstract要約: 本稿では,Large Language Models (LLMs) によるコミュニケーション,知覚,計画を統合したロボット行動計画のための高度なアーキテクチャを提案する。 Planner Moduleはシステムの中核であり、修正されたReActフレームワークに組み込み、ユーザーコマンドの解釈と実行にLLMが使用される。 修正されたReActフレームワークは、リアルタイムな環境認識と身体行動の結果を提供することにより、実行スペースをさらに強化する。
• 参考スコア（独自算出の注目度）: 0.9302364070735682
• License:
• Abstract: In recent years, research in the area of human-robot interaction has focused on developing robots capable of understanding complex human instructions and performing tasks in dynamic and diverse environments. These systems have a wide range of applications, from personal assistance to industrial robotics, emphasizing the importance of robots interacting flexibly, naturally and safely with humans. This paper presents an advanced architecture for robotic action planning that integrates communication, perception, and planning with Large Language Models (LLMs). Our system is designed to translate commands expressed in natural language into executable robot actions, incorporating environmental information and dynamically updating plans based on real-time feedback. The Planner Module is the core of the system where LLMs embedded in a modified ReAct framework are employed to interpret and carry out user commands. By leveraging their extensive pre-trained knowledge, LLMs can effectively process user requests without the need to introduce new knowledge on the changing environment. The modified ReAct framework further enhances the execution space by providing real-time environmental perception and the outcomes of physical actions. By combining robust and dynamic semantic map representations as graphs with control components and failure explanations, this architecture enhances a robot adaptability, task execution, and seamless collaboration with human users in shared and dynamic environments. Through the integration of continuous feedback loops with the environment the system can dynamically adjusts the plan to accommodate unexpected changes, optimizing the robot ability to perform tasks. Using a dataset of previous experience is possible to provide detailed feedback about the failure. Updating the LLMs context of the next iteration with suggestion on how to overcame the issue.
• Abstract（参考訳）: 近年,人間とロボットの相互作用の分野での研究は,複雑な人間の指示を理解し,動的かつ多様な環境でタスクを実行するロボットの開発に焦点が当てられている。 これらのシステムには、パーソナルアシスタントから産業ロボット工学まで幅広い応用があり、人間と柔軟に、自然に、安全に対話するロボットの重要性を強調している。 本稿では,Large Language Models (LLMs) と通信,知覚,計画を統合したロボット行動計画のための高度なアーキテクチャを提案する。 本システムは,自然言語で表現されたコマンドをロボットの動作に翻訳し,環境情報を取り入れ,リアルタイムフィードバックに基づく計画の動的更新を行うように設計されている。 Planner Moduleはシステムの中核であり、修正されたReActフレームワークに組み込み、ユーザーコマンドの解釈と実行にLLMが使用される。 LLMは、トレーニング済みの広範な知識を活用することで、変化する環境に新しい知識を導入することなく、ユーザの要求を効果的に処理することができる。 修正されたReActフレームワークは、リアルタイムな環境認識と身体行動の結果を提供することにより、実行スペースをさらに強化する。 このアーキテクチャは、堅牢でダイナミックなセマンティックマップ表現をグラフとして制御コンポーネントや障害説明と組み合わせることで、ロボット適応性、タスク実行、共有および動的環境におけるヒューマンユーザとのシームレスなコラボレーションを促進する。 継続的フィードバックループを環境と統合することで、ロボットのタスク実行能力を最適化し、予期せぬ変化に対応するために計画を動的に調整することができる。 以前のエクスペリエンスのデータセットを使用することで、障害に関する詳細なフィードバックを提供することが可能になる。 次のイテレーションのLLMコンテキストの更新と問題を克服する方法の提案。

関連論文リスト

• Time is on my sight: scene graph filtering for dynamic environment perception in an LLM-driven robot [0.8515309662618664]
  本稿では,人間とロボットのインタラクションにおける重要な課題に対処するロボット制御アーキテクチャを提案する。 アーキテクチャはLarge Language Modelsを使用して、自然言語コマンドを含む多様な情報ソースを統合する。 このアーキテクチャは、動的環境における適応性、タスク効率、人間とロボットのコラボレーションを強化する。
  論文  参考訳（メタデータ） (2024-11-22T15:58:26Z)
• Context-Aware Command Understanding for Tabletop Scenarios [1.7082212774297747]
  本稿では,テーブルトップシナリオにおける自然人コマンドの解釈を目的とした,新しいハイブリッドアルゴリズムを提案する。 音声、ジェスチャー、シーンコンテキストを含む複数の情報ソースを統合することにより、ロボットに対して実行可能な指示を抽出する。 システムの長所と短所、特にマルチモーダルコマンド解釈の扱い方について論じる。
  論文  参考訳（メタデータ） (2024-10-08T20:46:39Z)
• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning [74.58666091522198]
  非専門家による直感的なロボットプログラミングのためのフレームワークを提案する。 ロボットオペレーティングシステム(ROS)からの自然言語のプロンプトと文脈情報を活用する 我々のシステムは,大規模言語モデル (LLM) を統合し,非専門家がチャットインタフェースを通じてシステムにタスク要求を記述できるようにする。
  論文  参考訳（メタデータ） (2024-06-28T08:28:38Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• InCoRo: In-Context Learning for Robotics Control with Feedback Loops [4.702566749969133]
  InCoRoは、LLMコントローラ、シーン理解ユニット、ロボットからなる古典的なロボットフィードバックループを使用するシステムである。 システムの一般化能力を強調し,InCoRoが成功率において先行技術を上回ることを示す。 この研究は、動的環境に適応する信頼性があり、効率的でインテリジェントな自律システムを構築するための道を開いた。
  論文  参考訳（メタデータ） (2024-02-07T19:01:11Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Incremental Learning of Humanoid Robot Behavior from Natural Interaction and Large Language Models [23.945922720555146]
  本研究では,自然相互作用から複雑な行動の漸進的な学習を実現するシステムを提案する。 本システムは,ヒューマノイドロボットARMAR-6のロボット認知アーキテクチャに組み込まれている。
  論文  参考訳（メタデータ） (2023-09-08T13:29:05Z)
• WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
  本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。 本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。 我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
  論文  参考訳（メタデータ） (2023-08-30T11:35:21Z)
• Chat with the Environment: Interactive Multimodal Perception Using Large Language Models [19.623070762485494]
  大型言語モデル(LLM)は、数発のロボット計画において顕著な推論能力を示している。 本研究は,LLMがマルチモーダル環境下での対話型ロボットの動作を制御し,高レベルな計画と推論能力を提供することを示す。
  論文  参考訳（メタデータ） (2023-03-14T23:01:27Z)
• ProgPrompt: Generating Situated Robot Task Plans using Large Language Models [68.57918965060787]
  大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。 本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T20:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。