論文の概要: CARTIER: Cartographic lAnguage Reasoning Targeted at Instruction
Execution for Robots
- arxiv url: http://arxiv.org/abs/2307.11865v3
- Date: Thu, 1 Feb 2024 16:32:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 19:41:06.343536
- Title: CARTIER: Cartographic lAnguage Reasoning Targeted at Instruction
Execution for Robots
- Title(参考訳): cartier: ロボットの命令実行を目的とした地図言語推論
- Authors: Dmitriy Rivkin, Nikhil Kakodkar, Francois Hogan, Bobak H. Baghi,
Gregory Dudek
- Abstract要約: 本研究は、空間計画とナビゲーションのための自然言語インタフェースの交わりにおける問題に対処する大規模言語モデルの能力について考察する。
我々は、ロボット工学で一般的に見られる従来の明示的な手続き的指示よりも、自然な会話に近い複雑な指示に従うことに重点を置いている。
我々は3DシミュレータAI2Thorを利用して、大規模な家庭用クエリシナリオを作成し、40のオブジェクトタイプに対して複雑な言語クエリを追加することで拡張する。
- 参考スコア(独自算出の注目度): 9.393951367344894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work explores the capacity of large language models (LLMs) to address
problems at the intersection of spatial planning and natural language
interfaces for navigation. We focus on following complex instructions that are
more akin to natural conversation than traditional explicit procedural
directives typically seen in robotics. Unlike most prior work where navigation
directives are provided as simple imperative commands (e.g., "go to the
fridge"), we examine implicit directives obtained through conversational
interactions.We leverage the 3D simulator AI2Thor to create household query
scenarios at scale, and augment it by adding complex language queries for 40
object types. We demonstrate that a robot using our method CARTIER
(Cartographic lAnguage Reasoning Targeted at Instruction Execution for Robots)
can parse descriptive language queries up to 42% more reliably than existing
LLM-enabled methods by exploiting the ability of LLMs to interpret the user
interaction in the context of the objects in the scenario.
- Abstract(参考訳): 本研究では,大規模言語モデル(LLM)の空間計画とナビゲーションのための自然言語インタフェースの交点における問題に対処する能力について検討する。
ロボット工学で一般的に見られる従来の明示的な手続き的指示よりも、自然な会話に近い複雑な指示に従うことに注力する。
ナビゲーションディレクティブを単純な命令コマンド(例えば "go to the fridge" など)として提供する従来の作業とは違って、3Dシミュレータである AI2Thor を利用して大規模な家庭用クエリシナリオを作成し、40のオブジェクトタイプに対して複雑な言語クエリを追加することで拡張する。
我々は,我々の手法であるCARTIER(Cartographic lAnguage Reasoning Targeted at Instruction Execution for Robots)を用いて,シナリオ内のオブジェクトのコンテキストでユーザインタラクションを解釈するLLMの能力を利用して,既存のLCM対応手法よりも最大42%信頼性の高い記述言語クエリを解析できることを実証した。
関連論文リスト
- Object-Centric Instruction Augmentation for Robotic Manipulation [29.491990994901666]
我々は,高度にセマンティックで情報に富んだ言語命令を位置情報で拡張するために,textitObject-Centric Instruction Augmentation (OCI)フレームワークを導入する。
MLLM(Multi-modal Large Language Model)を用いて,オブジェクト位置の知識を自然言語に織り込む。
我々は,ロボットマニピュレータの模倣政策が,従来の言語指導にのみ依存する者よりも優れていることを実証した。
論文 参考訳(メタデータ) (2024-01-05T13:54:45Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z) - WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。
本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。
我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
論文 参考訳(メタデータ) (2023-08-30T11:35:21Z) - Interactively Robot Action Planning with Uncertainty Analysis and Active
Questioning by Large Language Model [6.695536752781623]
ロボット行動計画のための大規模言語モデル(LLM)が活発に研究されている。
自然言語によるLLMへの指示には、タスクコンテキストによる曖昧さと情報の欠如が含まれる。
本研究では,人間に質問することで,LLMが行方不明情報を分析・収集できる対話型ロボット行動計画法を提案する。
論文 参考訳(メタデータ) (2023-08-30T00:54:44Z) - AutoTAMP: Autoregressive Task and Motion Planning with LLMs as
Translators and Checkers [22.10114075378893]
人間とロボットの効果的なインタラクションには、ロボットは複雑な長期的タスクを理解し、計画し、実行する必要がある。
大規模言語モデルの最近の進歩は、自然言語をロボットのアクションシーケンスに変換することを約束している。
本研究では,複雑なタスク領域において,LLMをプランナとして用いる手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-10T21:58:29Z) - Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions
with Large Language Model [63.66204449776262]
Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。
我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。
我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
論文 参考訳(メタデータ) (2023-05-18T17:59:49Z) - ProgPrompt: Generating Situated Robot Task Plans using Large Language
Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。
本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文 参考訳(メタデータ) (2022-09-22T20:29:49Z) - LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language,
Vision, and Action [76.71101507291473]
本稿では,無注釈の大規模軌跡データに対するトレーニングの恩恵を享受するロボットナビゲーションシステムLM-Navを提案する。
本研究では,ナビゲーション(ViNG),画像言語アソシエーション(CLIP),言語モデリング(GPT-3)の事前学習モデルから構築可能なシステムについて述べる。
論文 参考訳(メタデータ) (2022-07-10T10:41:50Z) - A Persistent Spatial Semantic Representation for High-level Natural
Language Instruction Execution [54.385344986265714]
本稿では,言語行動とロボット行動のギャップを埋めるために,永続的な空間意味表現法を提案する。
一般的なステップバイステップ命令を完全に回避しながら、ALFREDベンチマークに対する我々のアプローチを評価し、最先端の結果を得る。
論文 参考訳(メタデータ) (2021-07-12T17:47:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。