Fugu-MT 論文翻訳(概要): Asynchronous LLM Function Calling

論文の概要: Asynchronous LLM Function Calling

arxiv url: http://arxiv.org/abs/2412.07017v1
Date: Mon, 09 Dec 2024 21:53:10 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-11 14:39:19.723779
Title: Asynchronous LLM Function Calling
Title（参考訳）: 非同期LLM関数呼び出し
Authors: In Gim, Seung-seob Lee, Lin Zhong,
Abstract要約: AsyncLMは、非同期大言語モデル(LLM)関数呼び出しのためのシステムである。 AsyncLMは同期関数呼び出しと比較して、エンドツーエンドのタスク完了遅延を1.6x-5.4xに削減できることを示す。
参考スコア（独自算出の注目度）: 1.447413712290616
License:
Abstract: Large language models (LLMs) use function calls to interface with external tools and data source. However, the current approach to LLM function calling is inherently synchronous, where each call blocks LLM inference, limiting LLM operation and concurrent function execution. In this work, we propose AsyncLM, a system for asynchronous LLM function calling. AsyncLM improves LLM's operational efficiency by enabling LLMs to generate and execute function calls concurrently. Instead of waiting for each call's completion, AsyncLM introduces an interrupt mechanism to asynchronously notify the LLM in-flight when function calls return. We design an in-context protocol for function calls and interrupts, provide fine-tuning strategy to adapt LLMs to the interrupt semantics, and implement these mechanisms efficiently on LLM inference process. We demonstrate that AsyncLM can reduce end-to-end task completion latency from 1.6x-5.4x compared to synchronous function calling on a set of benchmark tasks in the Berkeley function calling leaderboard (BFCL). Furthermore, we discuss how interrupt mechanisms can be extended to enable novel human-LLM or LLM-LLM interactions.
Abstract（参考訳）: 大きな言語モデル(LLM)は、外部ツールやデータソースとのインタフェースに関数呼び出しを使用する。しかし、LLM関数呼び出しに対する現在のアプローチは本質的に同期的であり、それぞれの呼び出しがLLM推論をブロックし、LLM操作を制限し、並列関数の実行を行う。本研究では非同期LLM関数呼び出しシステムであるAsyncLMを提案する。 AsyncLM は LLM が同時に関数呼び出しを生成し実行できるようにすることで LLM の運用効率を向上する。 AsyncLMは各呼び出しの完了を待つ代わりに、関数呼び出しが返ってくると LLM を非同期に通知する割り込み機構を導入している。関数呼び出しと割り込みのためのコンテキスト内プロトコルを設計し、割り込みセマンティクスにLLMを適用するための微調整戦略を提供し、これらのメカニズムをLLM推論プロセス上で効率的に実装する。我々は、AsyncLMが、バークレー関数呼び出しリーダーボード(BFCL)の一連のベンチマークタスクを呼び出す同期関数と比較して、エンドツーエンドのタスク完了遅延を1.6x-5.4xに削減できることを実証した。さらに,新しい人間-LLM や LLM-LLM の相互作用を可能にするために,割り込み機構をどのように拡張するかについても論じる。

関連論文リスト

Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文参考訳（メタデータ） (2024-05-23T08:33:19Z)
An LLM-Tool Compiler for Fused Parallel Function Calling [1.990293258268139]
LLM(Large Language Models)における最先端のシーケンシャル推論は、会話タスク以外のCopilotの機能を複雑な関数呼び出しに拡張した。 LLM-Toolコンパイラは、実行時に単一の関数の下で同様のツール操作を融合し、LLMに統一的なタスクとして提示する。大規模なCopilotプラットフォーム上でベンチマークされたLLM-Toolコンパイラは、既存のメソッドよりも最大4倍の並列呼び出しを実現し、トークンコストとレイテンシを最大40%と12%削減する。
論文参考訳（メタデータ） (2024-05-07T18:55:50Z)
Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction [8.705908108054878]
大型モデル(LLM)は、多くのドメインにわたるAIアプリケーションの新しい波を駆動している。 LLM出力シーケンス長の予測に光プロキシモデルを用いる投機的ショートストジョブファースト(SSJF)スケジューラを提案する。
論文参考訳（メタデータ） (2024-04-12T14:46:15Z)
InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory [93.20588235940453]
本稿では,トレーニング不要なメモリベースのInfLLMを提案する。 InfLLMは、リモートコンテキストを追加のメモリユニットに格納し、トークン関連ユニットを注目するために効率的なメカニズムを使用する。シーケンス長が$1,024$Kにスケールしても、InfLLMは依然として、長距離依存関係を効果的にキャプチャする。
論文参考訳（メタデータ） (2024-02-07T06:50:42Z)
LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning [67.39585115936329]
LLMには、微調整なしで長いコンテキストを処理できる固有の能力がある、と我々は主張する。バイレベルアテンション情報を構築することで,LLMのコンテキストウィンドウを拡張するためのSelfExtendを提案する。複数のベンチマークで包括的な実験を行い、その結果、既存のLLMのコンテキストウィンドウ長を効果的に拡張できることが示されている。
論文参考訳（メタデータ） (2024-01-02T18:30:51Z)
An LLM Compiler for Parallel Function Calling [68.04566807806071]
我々は,複数の関数呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを紹介する。 ReActと比較して、一貫したレイテンシの高速化が3.7倍、コストの削減が6.7倍、精度が9%向上している。
論文参考訳（メタデータ） (2023-12-07T18:32:04Z)
Reverse Chain: A Generic-Rule for LLMs to Master Multi-API Planning [8.96245399645571]
本稿では,制御可能なターゲット駆動型アプローチであるReverse Chain'を紹介し,プロンプトのみで外部APIを操作可能な大規模言語モデルを提案する。制御可能な多機能呼び出しを管理するために、Reverse Chainは、後方推論プロセスに基づいたジェネリックルールを採用する。
論文参考訳（メタデータ） (2023-10-06T05:20:18Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)
Fast Distributed Inference Serving for Large Language Models [12.703624317418237]
大規模言語モデル(LLM)のための分散推論サービスシステムであるFastServeについて述べる。 FastServeはLLM推論の自己回帰パターンを利用して、各出力トークンの粒度のプリエンプションを可能にする。我々は,FastServeのシステムプロトタイプを構築し,最先端のソリューションであるvLLMと比較して,同じ平均および末尾遅延条件下でのスループットを最大31.4xと17.9xに改善したことを示す。
論文参考訳（メタデータ） (2023-05-10T06:17:50Z)
Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。