論文の概要: Large Language Models for Robotics: A Survey
- arxiv url: http://arxiv.org/abs/2311.07226v1
- Date: Mon, 13 Nov 2023 10:46:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 14:50:46.015591
- Title: Large Language Models for Robotics: A Survey
- Title（参考訳）: ロボットのための大規模言語モデル: 調査
- Authors: Fanlong Zeng, Wensheng Gan, Yongheng Wang, Ning Liu, Philip S. Yu
- Abstract要約: 大規模言語モデル(LLM)は自然言語の処理と生成能力を有しており、ロボットとの効率的な対話と協調を促進する。
本レビューは,ロボット制御,知覚,意思決定,経路計画といった重要な領域に対する,ロボット工学におけるLLMの応用と貢献を要約することを目的としている。
- 参考スコア（独自算出の注目度）: 40.76581696885846
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The human ability to learn, generalize, and control complex manipulation
tasks through multi-modality feedback suggests a unique capability, which we
refer to as dexterity intelligence. Understanding and assessing this
intelligence is a complex task. Amidst the swift progress and extensive
proliferation of large language models (LLMs), their applications in the field
of robotics have garnered increasing attention. LLMs possess the ability to
process and generate natural language, facilitating efficient interaction and
collaboration with robots. Researchers and engineers in the field of robotics
have recognized the immense potential of LLMs in enhancing robot intelligence,
human-robot interaction, and autonomy. Therefore, this comprehensive review
aims to summarize the applications of LLMs in robotics, delving into their
impact and contributions to key areas such as robot control, perception,
decision-making, and path planning. We first provide an overview of the
background and development of LLMs for robotics, followed by a description of
the benefits of LLMs for robotics and recent advancements in robotics models
based on LLMs. We then delve into the various techniques used in the model,
including those employed in perception, decision-making, control, and
interaction. Finally, we explore the applications of LLMs in robotics and some
potential challenges they may face in the near future. Embodied intelligence is
the future of intelligent science, and LLMs-based robotics is one of the
promising but challenging paths to achieve this.
- Abstract（参考訳）: マルチモダリティフィードバックを通じて複雑な操作タスクを学習、一般化、制御する人間の能力は、我々がデクスタリティインテリジェンスと呼ぶユニークな能力を示している。
この知性の理解と評価は複雑なタスクです。
大規模言語モデル(LLM)の急速な進歩と広範な普及の中で、ロボット工学分野におけるその応用が注目されている。
LLMは自然言語を処理および生成する能力を有しており、ロボットとの効率的な相互作用と協調を促進する。
ロボット工学の分野の研究者とエンジニアは、ロボット知能、人間とロボットの相互作用、自律性向上におけるllmの膨大な可能性を認識した。
そこで本研究では,ロボット工学におけるLLMの応用を要約し,ロボット制御,知覚,意思決定,経路計画といった重要な分野への貢献について考察する。
まず,ロボット工学におけるLLMの背景と開発について概説するとともに,ロボット工学におけるLLMのメリットと,LLMに基づくロボット工学モデルの最近の進歩について述べる。
次に、知覚、意思決定、制御、および相互作用に使用されるものを含む、モデルで使用される様々な技術を調べます。
最後に、ロボット工学におけるLLMの応用と、近い将来直面する可能性のある潜在的な課題について検討する。
embodied intelligenceは知的科学の未来であり、llmsベースのロボティクスは、これを達成するための有望だが挑戦的な道の1つだ。
関連論文リスト
- $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。
我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
論文 参考訳（メタデータ） (2024-10-31T17:22:30Z) - MMRo: Are Multimodal LLMs Eligible as the Brain for In-Home Robotics? [33.573056018368504]
本研究では,Multimodal LLM for Robotic (MMRo)ベンチマークを評価するための最初のベンチマークを紹介する。
我々は、MLLMがロボットの中央処理ユニットとして持つべき4つの重要な能力知覚、タスク計画、視覚的推論、安全性の測定を識別する。
以上の結果から,現在のMLLMはロボットの認知コアとして機能するほど信頼できないことが示唆された。
論文 参考訳（メタデータ） (2024-06-28T07:09:06Z) - Enhancing the LLM-Based Robot Manipulation Through Human-Robot Collaboration [4.2460673279562755]
大規模言語モデル(LLM)はロボット工学の分野で人気を集めている。
本稿では,人間ロボットコラボレーション(HRC)によるLLMに基づく自律操作の性能向上のための新しいアプローチを提案する。
このアプローチでは、高レベルの言語コマンドをロボットによって実行できる一連の動作に分解するために、引き起こされたGPT-4言語モデルを使用する。
論文 参考訳（メタデータ） (2024-06-20T08:23:49Z) - Large Language Models for Robotics: Opportunities, Challenges, and
Perspectives [46.57277568357048]
大規模言語モデル(LLM)は大幅に拡張され、様々な領域にまたがって統合されている。
ロボットが複雑な環境と対話する具体的タスクでは、テキストのみのLLMは、ロボットの視覚知覚との互換性が欠如しているため、しばしば課題に直面している。
本稿では,マルチモーダル GPT-4V を利用して,自然言語命令とロボットの視覚認識を組み合わせることで,具体的タスク計画を強化するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-09T03:22:16Z) - WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。
本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。
我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
論文 参考訳（メタデータ） (2023-08-30T11:35:21Z) - Language to Rewards for Robotic Skill Synthesis [37.21434094015743]
我々は,大規模言語モデル(LLM)を利用して,様々なロボットタスクを最適化し,達成可能な報酬パラメータを定義する新しいパラダイムを提案する。
LLMが生成する中間インタフェースとして報酬を用いることで、ハイレベルな言語命令と修正のギャップを、低レベルなロボット動作に効果的に埋めることができる。
論文 参考訳（メタデータ） (2023-06-14T17:27:10Z) - LLM as A Robotic Brain: Unifying Egocentric Memory and Control [77.0899374628474]
Embodied AIは、物理的または仮想的なエンボディメント(つまりロボット)を持つインテリジェントシステムの研究と開発に焦点を当てている。
メモリとコントロールは、具体化されたシステムの2つの不可欠な部分であり、通常、それぞれをモデル化するために別々のフレームワークを必要とします。
ロボット脳として大規模言語モデルを用いて,エゴセントリックな記憶と制御を統一するLLM-Brainという新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-19T00:08:48Z) - Tiny Robot Learning: Challenges and Directions for Machine Learning in
Resource-Constrained Robots [57.27442333662654]
機械学習(ML)は、コンピュータシステムにまたがる普及したツールとなっている。
ティニー・ロボット・ラーニング(Tiny Robot Learning)とは、リソースに制約された低コストの自律ロボットにMLを配置する手法である。
小型ロボット学習は、サイズ、重量、面積、パワー(SWAP)の制約によって困難にさらされる。
本稿では,小型ロボットの学習空間を簡潔に調査し,重要な課題を詳述し,MLシステム設計における将来的な仕事の機会を提案する。
論文 参考訳（メタデータ） (2022-05-11T19:36:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。