論文の概要: Ground Manipulator Primitive Tasks to Executable Actions using Large
Language Models
- arxiv url: http://arxiv.org/abs/2308.06810v2
- Date: Sun, 1 Oct 2023 03:31:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 17:06:23.989193
- Title: Ground Manipulator Primitive Tasks to Executable Actions using Large
Language Models
- Title(参考訳): 大規模言語モデルを用いた実行動作に対するグランドマニピュレータプリミティブタスク
- Authors: Yue Cao and C.S. George Lee
- Abstract要約: 大規模言語モデル(LLM)を用いた低レベル動作ロボットのためのマニピュレータ・プリミティブ・タスクを基礎とする新しい手法を提案する。
このようにして、LLMはハイブリッド制御のための位置/力のセットポイントを生成することができる。
- 参考スコア(独自算出の注目度): 13.827349677538352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Layered architectures have been widely used in robot systems. The majority of
them implement planning and execution functions in separate layers. However,
there still lacks a straightforward way to transit high-level tasks in the
planning layer to the low-level motor commands in the execution layer. In order
to tackle this challenge, we propose a novel approach to ground the manipulator
primitive tasks to robot low-level actions using large language models (LLMs).
We designed a program-function-like prompt based on the task frame formalism.
In this way, we enable LLMs to generate position/force set-points for hybrid
control. Evaluations over several state-of-the-art LLMs are provided.
- Abstract(参考訳): 階層構造はロボットシステムで広く使われている。
その多くは、別々のレイヤに計画と実行関数を実装している。
しかしながら、計画層内の高レベルタスクを実行層内の低レベルモーターコマンドに転送する簡単な方法がまだ存在しない。
この課題に取り組むため,我々は,大言語モデル(llm)を用いたロボットの低レベル動作を実現するために,マニピュレータプリミティブタスクを接地する新しい手法を提案する。
タスクフレーム形式に基づくプログラム機能ライクなプロンプトを設計した。
このようにして、LLMはハイブリッド制御のための位置/力のセットポイントを生成することができる。
複数の最先端LCMに対する評価が提供される。
関連論文リスト
- LoHoRavens: A Long-Horizon Language-Conditioned Benchmark for Robotic
Tabletop Manipulation [38.66406497318709]
この研究はテーブルトップ操作タスクに焦点を当て、色、サイズ、空間、算術、参照にまたがる様々なロングホライゾン推論側面をカバーするシミュレーションベンチマークである textitLoHoRavens をリリースする。
LLMに明示的および暗黙的な観察フィードバックを組み込むためのキャプション生成と学習可能なインタフェースの2つの方法を検討した。
論文 参考訳(メタデータ) (2023-10-18T14:53:14Z) - Language Models as Zero-Shot Trajectory Generators [0.0]
大規模言語モデル(LLM)は、最近、低レベルのスキルの選択へのアクセスを与えられたとき、ロボットのハイレベルプランナーとして約束されている。
物体検出と分割視覚モデルのみへのアクセスを与えられた場合, LLM が操作スキルのための高密度なエンドエフェクタ・ポーズを直接予測できるかどうかを検討する。
我々はLLMが、様々な共通タスクに十分な低レベルロボット制御の理解を実際に持っていることを初めて明らかにした。
論文 参考訳(メタデータ) (2023-10-17T21:57:36Z) - Interactive Task Planning with Language Models [97.86399877812923]
対話型ロボットフレームワークは、長期のタスクプランニングを達成し、実行中であっても、新しい目標や異なるタスクに容易に一般化することができる。
最近の大規模言語モデルに基づくアプローチは、よりオープンな計画を可能にするが、多くの場合、重いプロンプトエンジニアリングやドメイン固有の事前訓練されたモデルを必要とする。
本稿では,言語モデルを用いた対話型タスクプランニングを実現するためのシンプルなフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-16T17:59:12Z) - Generalizable Long-Horizon Manipulations with Large Language Models [91.740084601715]
本研究は,Large Language Models (LLMs) の機能を活用して,汎用可能な長距離操作のための原始的なタスク条件を生成するフレームワークを導入する。
我々は,Pybulletに基づくロボット操作タスクスイートを作成し,長期作業評価を行う。
論文 参考訳(メタデータ) (2023-10-03T17:59:46Z) - DoReMi: Grounding Language Model by Detecting and Recovering from
Plan-Execution Misalignment [11.572444827974852]
DoReMiは、計画と実行間のミスアライメントの検出とリカバリを可能にする。
パイプラインは、低レベルの実行を監視し、特定の計画実行ミスアライメントが発生した場合、タイムリなリカバリを可能にします。
論文 参考訳(メタデータ) (2023-07-01T12:51:02Z) - AutoTAMP: Autoregressive Task and Motion Planning with LLMs as
Translators and Checkers [22.10114075378893]
人間とロボットの効果的なインタラクションには、ロボットは複雑な長期的タスクを理解し、計画し、実行する必要がある。
大規模言語モデルの最近の進歩は、自然言語をロボットのアクションシーケンスに変換することを約束している。
本研究では,複雑なタスク領域において,LLMをプランナとして用いる手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-10T21:58:29Z) - Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions
with Large Language Model [63.66204449776262]
Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。
我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。
我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
論文 参考訳(メタデータ) (2023-05-18T17:59:49Z) - Plan, Eliminate, and Track -- Language Models are Good Teachers for
Embodied Agents [99.17668730578586]
事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。
Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。
PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
論文 参考訳(メタデータ) (2023-05-03T20:11:22Z) - ProgPrompt: Generating Situated Robot Task Plans using Large Language
Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。
本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文 参考訳(メタデータ) (2022-09-22T20:29:49Z) - Procedures as Programs: Hierarchical Control of Situated Agents through
Natural Language [81.73820295186727]
エージェント命令と制御のための階層的な手続き的知識を表現する強力な手法である,プログラムとしての手続きの形式化を提案する。
NL命令に対するIQAおよびALFREDデータセット上で、このフレームワークをインスタンス化する。
論文 参考訳(メタデータ) (2021-09-16T20:36:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。