論文の概要: Conveyor: Efficient Tool-aware LLM Serving with Tool Partial Execution
- arxiv url: http://arxiv.org/abs/2406.00059v2
- Date: Tue, 4 Jun 2024 19:00:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 23:49:24.606090
- Title: Conveyor: Efficient Tool-aware LLM Serving with Tool Partial Execution
- Title（参考訳）: Conveyor: ツール部分実行を備えた効率的なツール対応LDM
- Authors: Yechen Xu, Xinhao Kong, Tingjun Chen, Danyang Zhuo,
- Abstract要約: ツール開発者がLLMサービスシステムに部分的な実行機会を公開するための新しいインタフェースを導入する。
ツールの部分的な実行は、要求完了のレイテンシを最大38.8%改善することを示した。
- 参考スコア（独自算出の注目度）: 6.579725434224422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The complexity of large language model (LLM) serving workloads has substantially increased due to the integration with external tool invocations, such as ChatGPT plugins. In this paper, we identify a new opportunity for efficient LLM serving for requests that trigger tools: tool partial execution alongside LLM decoding. To this end, we design Conveyor, an efficient LLM serving system optimized for handling requests involving external tools. We introduce a novel interface for tool developers to expose partial execution opportunities to the LLM serving system and a request scheduler that facilitates partial tool execution. Our results demonstrate that tool partial execution can improve request completion latency by up to 38.8%.
- Abstract（参考訳）: 大規模言語モデル(LLM)サービスワークロードの複雑さは、ChatGPTプラグインのような外部ツール呼び出しとの統合によって大幅に増大している。
本稿では, LLMデコーディングと並行してツール部分実行を行う要求に対して, 効率的なLLMサービスを実現するための新たな機会を特定する。
この目的のために、外部ツールを含む要求を処理するために最適化された効率的なLLMサービスシステムであるConveyorを設計する。
ツール開発者がLCMサービスシステムに部分的な実行機会を公開するための新しいインターフェースと、部分的なツール実行を容易にする要求スケジューラを導入する。
ツールの部分的な実行は、要求完了のレイテンシを最大38.8%改善することを示した。
関連論文リスト
- Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。
次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。
包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
論文 参考訳（メタデータ） (2024-05-26T11:40:58Z) - Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。
既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。
我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
論文 参考訳（メタデータ） (2024-05-25T06:41:23Z) - LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。
試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。
STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
論文 参考訳（メタデータ） (2024-03-07T18:50:51Z) - EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。
トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2024-01-11T15:45:11Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳（メタデータ） (2023-09-29T17:40:26Z) - Large Language Models as Tool Makers [85.00361145117293]
我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。
ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
論文 参考訳（メタデータ） (2023-05-26T17:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。