論文の概要: TimelyLLM: Segmented LLM Serving System for Time-sensitive Robotic Applications

• arxiv url: http://arxiv.org/abs/2412.18695v1
• Date: Tue, 24 Dec 2024 22:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:24:28.256520
• Title: TimelyLLM: Segmented LLM Serving System for Time-sensitive Robotic Applications
• Title（参考訳）: TimelyLLM: 時間感応型ロボット用セグメントLDMサービングシステム
• Authors: Neiwen Ling, Guojun Chen, Lin Zhong,
• Abstract要約: 本稿では,複数のロボットエージェントにタイムセンシティブな要求を提供するTimelyLLMを提案する。 TimelyLLMは,ロボット計画生成と実行フェーズを最適に活用するセグメント生成とスケジューリングの新しいメカニズムを導入している。 評価の結果,TimelyLLMは時間効率を最大1.97倍に改善し,全体の待ち時間を84%削減した。
• 参考スコア（独自算出の注目度）: 1.9159700110671742
• License:
• Abstract: Large Language Models (LLMs) such as GPT-4 and Llama3 can already comprehend complex commands and process diverse tasks. This advancement facilitates their application in controlling drones and robots for various tasks. However, existing LLM serving systems typically employ a first-come, first-served (FCFS) batching mechanism, which fails to address the time-sensitive requirements of robotic applications. To address it, this paper proposes a new system named TimelyLLM serving multiple robotic agents with time-sensitive requests. TimelyLLM introduces novel mechanisms of segmented generation and scheduling that optimally leverage redundancy between robot plan generation and execution phases. We report an implementation of TimelyLLM on a widely-used LLM serving framework and evaluate it on a range of robotic applications. Our evaluation shows that TimelyLLM improves the time utility up to 1.97x, and reduces the overall waiting time by 84%.
• Abstract（参考訳）: GPT-4やLlama3のような大規模言語モデル(LLM)はすでに複雑なコマンドを理解でき、多様なタスクを処理できる。 この進歩は、様々なタスクのためのドローンやロボットの制御における彼らの応用を促進する。 しかしながら、既存のLLMサービスシステムは一般的に、ロボットアプリケーションの時間に敏感な要求に対処できない、ファーストカム、ファーストサーブド(FCFS)バッチ機構を使用している。 そこで本研究では,複数のロボットエージェントにタイムセンシティブな要求を提供するTimelyLLMを提案する。 TimelyLLMは,ロボット計画生成と実行フェーズの冗長性を最適に活用するセグメント生成とスケジューリングの新しいメカニズムを導入している。 広範に利用されているLCMサービスフレームワーク上でのTimelyLLMの実装を報告し、様々なロボットアプリケーション上で評価する。 評価の結果,TimelyLLMは時間効率を最大1.97倍に改善し,全体の待ち時間を84%削減した。

関連論文リスト

• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• COHERENT: Collaboration of Heterogeneous Multi-Robot System with Large Language Models [49.24666980374751]
  COHERENTは、異種マルチロボットシステムの協調のための新しいLCMベースのタスク計画フレームワークである。 提案-実行-フィードバック-調整機構は,個々のロボットに対して動作を分解・割り当てするように設計されている。 実験の結果,我々の研究は,成功率と実行効率の面で,従来の手法をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-09-23T15:53:41Z)
• ELMS: Elasticized Large Language Models On Mobile Devices [5.689405542579458]
  デバイス上の大規模言語モデル(LLM)は、プライバシー問題に対処しながら、UI自動化などのアプリケーションを可能にする、モバイルAIに革命をもたらしている。 ELMSは、モデルとプロンプト次元の両方で弾力性を提供するように設計されたデバイス上でのLCMサービスである。 トランスモデルに固有の置換整合性を利用して高品質で柔軟なサブモデルを作成するワンタイムリオーダーニューロニング技術。 プロンプトを効率的に洗練し、モデルプロンプト間の弾性適応をコーディネートするデュアルヘッドコンパクト言語モデル。
  論文  参考訳（メタデータ） (2024-09-08T06:32:08Z)
• RelayAttention for Efficient Large Language Model Serving with Long System Prompts [59.50256661158862]
  本稿では,長いシステムプロンプトを含むLCMサービスの効率を向上させることを目的とする。 これらのシステムプロンプトの処理には、既存の因果注意アルゴリズムにおいて、大量のメモリアクセスが必要である。 本稿では,DRAMから入力トークンのバッチに対して,DRAMから隠れた状態を正確に1回読み取ることのできるアテンションアルゴリズムであるRelayAttentionを提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:58:28Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• InCoRo: In-Context Learning for Robotics Control with Feedback Loops [4.702566749969133]
  InCoRoは、LLMコントローラ、シーン理解ユニット、ロボットからなる古典的なロボットフィードバックループを使用するシステムである。 システムの一般化能力を強調し,InCoRoが成功率において先行技術を上回ることを示す。 この研究は、動的環境に適応する信頼性があり、効率的でインテリジェントな自律システムを構築するための道を開いた。
  論文  参考訳（メタデータ） (2024-02-07T19:01:11Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• RED: A Systematic Real-Time Scheduling Approach for Robotic Environmental Dynamics [11.38746414146899]
  我々は、リソース制限されたロボットシステムにおいて、マルチタスクのディープニューラルネットワークワークロードをサポートするように設計された、体系的なリアルタイムスケジューリング手法REDを紹介する。 ロボット環境ダイナミクス(RED)をリアルタイムの制約に順応しながら適応的に管理するように設計されている。
  論文  参考訳（メタデータ） (2023-08-29T15:04:08Z)
• Language to Rewards for Robotic Skill Synthesis [37.21434094015743]
  我々は,大規模言語モデル(LLM)を利用して,様々なロボットタスクを最適化し,達成可能な報酬パラメータを定義する新しいパラダイムを提案する。 LLMが生成する中間インタフェースとして報酬を用いることで、ハイレベルな言語命令と修正のギャップを、低レベルなロボット動作に効果的に埋めることができる。
  論文  参考訳（メタデータ） (2023-06-14T17:27:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。