論文の概要: TypeFly: Flying Drones with Large Language Model
- arxiv url: http://arxiv.org/abs/2312.14950v2
- Date: Thu, 26 Sep 2024 15:45:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-27 21:20:33.183709
- Title: TypeFly: Flying Drones with Large Language Model
- Title(参考訳): TypeFly:大きな言語モデルでドローンを飛ばす
- Authors: Guojun Chen, Xiaojing Yu, Neiwen Ling, Lin Zhong,
- Abstract要約: 移動ロボットを含むリアルタイムおよびインタラクティブなアプリケーションでは、シーケンシャルトークン生成プロセスにはかなりのレイテンシが伴う。
本稿では,MiniSpecという新しいプログラミング言語と,その実行環境を組み合わせたChatFlyを提案する。
すなわち、LLMに人気のあるPythonでプログラム(ロボティックプラン)を書く代わりに、ChatFlyはトークン効率とストリーム解釈のために特別に設計されたMiniSpecでプログラムを実行できる。
- 参考スコア(独自算出の注目度): 2.3413418672871495
- License:
- Abstract: Recent advancements in robot control using large language models (LLMs) have demonstrated significant potential, primarily due to LLMs' capabilities to understand natural language commands and generate executable plans in various languages. However, in real-time and interactive applications involving mobile robots, particularly drones, the sequential token generation process inherent to LLMs introduces substantial latency, i.e. response time, in control plan generation. In this paper, we present a system called ChatFly that tackles this problem using a combination of a novel programming language called MiniSpec and its runtime to reduce the plan generation time and drone response time. That is, instead of asking an LLM to write a program (robotic plan) in the popular but verbose Python, ChatFly gets it to do it in MiniSpec specially designed for token efficiency and stream interpretation. Using a set of challenging drone tasks, we show that design choices made by ChatFly can reduce up to 62% response time and provide a more consistent user experience, enabling responsive and intelligent LLM-based drone control with efficient completion.
- Abstract(参考訳): 大規模言語モデル(LLM)を用いたロボット制御の最近の進歩は、LLMが自然言語コマンドを理解し、様々な言語で実行可能な計画を生成する能力によって、大きな可能性を秘めている。
しかし、移動ロボット、特にドローンを含むリアルタイムおよびインタラクティブなアプリケーションでは、LSM固有のシーケンシャルトークン生成プロセスは、応答時間、すなわち制御計画生成にかなりの遅延をもたらす。
本稿では,この問題を解決するために,MiniSpecという新しいプログラム言語とその実行環境を組み合わせて,計画生成時間とドローン応答時間を短縮するChatFlyを提案する。
すなわち、LLMに人気のあるPythonでプログラム(ロボティックプラン)を書く代わりに、ChatFlyはトークン効率とストリーム解釈のために特別に設計されたMiniSpecでプログラムを実行できる。
難易度の高いドローンタスクのセットを使用することで、ChatFlyによる設計選択が最大62%の応答時間を短縮し、より一貫性のあるユーザエクスペリエンスを提供することで、応答性とインテリジェントなLLMベースのドローン制御を効率よく実現できることが示される。
関連論文リスト
- Plan-Seq-Learn: Language Model Guided RL for Solving Long Horizon Robotics Tasks [50.27313829438866]
Plan-Seq-Learn (PSL) は、抽象言語と学習した低レベル制御の間のギャップを埋めるためにモーションプランニングを使用するモジュラーアプローチである。
PSLは85%以上の成功率、言語ベース、古典的、エンドツーエンドのアプローチを達成している。
論文 参考訳(メタデータ) (2024-05-02T17:59:31Z) - Empowering Large Language Models on Robotic Manipulation with Affordance Prompting [23.318449345424725]
大規模な言語モデルは、制御シーケンスを適切に生成することで物理世界と相互作用することができない。
既存のLLMベースのアプローチでは、事前定義されたスキルや事前訓練されたサブ政治に頼ることでこの問題を回避することができる。
サブタスクプランナとモーションコントローラの両方をLLM+A(ffordance)と呼ぶフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-17T03:06:32Z) - Self-Training Large Language Models for Improved Visual Program Synthesis With Visual Reinforcement [93.73648674743097]
ビジュアルプログラム合成は、構成型コンピュータビジョンタスクのための大規模言語モデルの推論能力を利用するための有望なアプローチである。
それまでの作業では、視覚プログラムを合成するために、凍結LDMを使用した数発のプロンプトを使用していた。
トレーニング用ビジュアルプログラムのデータセットは存在せず、ビジュアルプログラムデータセットの取得は簡単にクラウドソーシングできない。
論文 参考訳(メタデータ) (2024-04-06T13:25:00Z) - Language Models as Zero-Shot Trajectory Generators [10.572264780575564]
大規模言語モデル(LLM)は最近、ロボットのハイレベルプランナーとして約束されている。
LLMは低レベルの軌道自体に使用する十分な知識を持っていないとしばしば仮定される。
本研究は,LLMが操作タスクに対して,エンドエフェクタの高密度なシーケンスを直接予測できるかどうかを考察する。
論文 参考訳(メタデータ) (2023-10-17T21:57:36Z) - AskIt: Unified Programming Interface for Programming with Large Language
Models [0.0]
大規模言語モデル(LLM)は創発能力として知られるユニークな現象を示し、多くのタスクにまたがって適応性を示す。
本稿では,LLM用に特別に設計されたドメイン固有言語であるAskItを紹介する。
50タスクにわたって、AskItは簡潔なプロンプトを生成し、ベンチマークよりも16.14パーセントのプロンプト長の削減を実現した。
論文 参考訳(メタデータ) (2023-08-29T21:44:27Z) - VisionLLM: Large Language Model is also an Open-Ended Decoder for
Vision-Centric Tasks [81.32968995346775]
VisionLLMは視覚中心のタスクのためのフレームワークで、柔軟に定義され、言語命令を使って管理できる。
検出固有モデルと同等の精度で,COCO上で60%以上のmAPを達成できる。
論文 参考訳(メタデータ) (2023-05-18T17:59:42Z) - Plan, Eliminate, and Track -- Language Models are Good Teachers for
Embodied Agents [99.17668730578586]
事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。
Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。
PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
論文 参考訳(メタデータ) (2023-05-03T20:11:22Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳(メタデータ) (2023-04-17T09:27:40Z) - VIMA: General Robot Manipulation with Multimodal Prompts [82.01214865117637]
ロボット操作タスクの幅広い範囲をマルチモーダルプロンプトで表現できることを示す。
我々は,数千の手続き的に生成されたテーブルトップタスクからなる新しいシミュレーションベンチマークを開発した。
我々は、これらのプロンプトを処理し、自動回帰的に運動動作を出力するトランスフォーマーベースのロボットエージェントVIMAを設計する。
論文 参考訳(メタデータ) (2022-10-06T17:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。