論文の概要: An LLM Compiler for Parallel Function Calling
- arxiv url: http://arxiv.org/abs/2312.04511v1
- Date: Thu, 7 Dec 2023 18:32:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 13:45:53.032208
- Title: An LLM Compiler for Parallel Function Calling
- Title(参考訳): 並列関数呼び出しのためのLLMコンパイラ
- Authors: Sehoon Kim, Suhong Moon, Ryan Tabrizi, Nicholas Lee, Michael W.
Mahoney, Kurt Keutzer, Amir Gholami
- Abstract要約: マルチファンクション呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを導入する。
ReActと比較して、一貫したレイテンシの高速化、最大6.7倍のコスト削減、最大9%の精度向上を観察する。
- 参考スコア(独自算出の注目度): 71.4578671406412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have shown remarkable results on various complex
reasoning benchmarks. The reasoning capabilities of LLMs enable them to execute
function calls, using user-provided functions to overcome their inherent
limitations, such as knowledge cutoffs, poor arithmetic skills, or lack of
access to private data. This development has expanded LLMs' scope to include
multi-function calling, where LLMs are equipped with a variety of functions and
select the proper functions based on the context. Multi-function calling
abilities of LLMs have catalyzed LLM-based software development, allowing them
to tackle more complex problems. However, current methods for multi-function
calling often require sequential reasoning and acting for each function which
can result in high latency, cost, and sometimes inaccurate behavior. To address
this, we introduce LLMCompiler, which executes functions in parallel to
efficiently orchestrate multi-function calling. Drawing from the principles of
classical compilers, LLMCompiler streamlines parallel function calling with
three components: (i) an LLM Planner, formulating execution strategies and
dependencies; (ii) a Task Fetching Unit, dispatching function calling tasks;
and (iii) an Executor, executing these tasks in parallel. LLMCompiler
automatically computes an optimized orchestration for the function calls and
can be used with open-source models such as LLaMA-2. We have benchmarked
LLMCompiler on a range of tasks including cases with non-trivial
inter-dependency between function calls, as well as cases that require dynamic
replanning based on intermediate results. We observe consistent latency speedup
of up to 3.7x, cost savings of up to 6.7x, and accuracy improvement of up to
~9% as compared to ReAct. Additionally, LLMCompiler achieves up to 1.35x
latency gain over OpenAI's recent parallel function calling, while achieving
similar accuracy.
- Abstract(参考訳): 大規模言語モデル(llm)は様々な複雑な推論ベンチマークで顕著な結果を示している。
LLMの推論能力により、ユーザが提供する関数を使用して、知識の遮断、算術能力の低下、プライベートデータへのアクセスの欠如など、固有の制限を克服できる。
この開発により、LLMのスコープを多機能呼び出しに拡張し、LLMは様々な機能を備え、コンテキストに基づいて適切な関数を選択する。
LLMの多機能呼び出し能力は、LLMベースのソフトウェア開発を触媒し、より複雑な問題に取り組むことができる。
しかし、現在のマルチファンクション呼び出しの方法は、しばしば、高いレイテンシ、コスト、時には不正確な振る舞いをもたらす、各関数のシーケンシャルな推論と動作を必要とする。
これを解決するために,並列に関数を実行するLLMCompilerを導入し,多機能呼び出しを効率的にオーケストレーションする。
古典的なコンパイラの原則から、LLMCompilerは3つのコンポーネントで並列関数呼び出しを合理化する。
i) LLMプランナーであって,実行戦略及び依存関係を定式化するもの
(ii)タスクフェッチユニット、タスクを呼び出す関数のディスパッチ、及び
(iii)これらのタスクを並列に実行するExecutor。
LLMCompilerは関数呼び出しの最適化オーケストレーションを自動的に計算し、LLaMA-2のようなオープンソースのモデルで使用することができる。
我々はllmcompilerを,関数呼び出し間の非自明な相互依存のケースや,中間結果に基づく動的再計画を必要とするケースなど,さまざまなタスクでベンチマークした。
一貫性のあるレイテンシのスピードアップは3.7倍まで,コスト削減は6.7倍まで,正確性はreactと比較して最大9%向上しています。
さらに、LLMCompilerはOpenAIの最近の並列関数呼び出しよりも最大1.35倍のレイテンシ向上を実現している。
関連論文リスト
- PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳(メタデータ) (2024-03-06T15:33:32Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task
Completion [96.47420221442397]
我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。
また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。
その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
論文 参考訳(メタデータ) (2023-11-03T08:06:35Z) - Reverse Chain: A Generic-Rule for LLMs to Master Multi-API Planning [8.96245399645571]
本稿では,制御可能なターゲット駆動型アプローチであるReverse Chain'を紹介し,プロンプトのみで外部APIを操作可能な大規模言語モデルを提案する。
制御可能な多機能呼び出しを管理するために、Reverse Chainは、後方推論プロセスに基づいたジェネリックルールを採用する。
論文 参考訳(メタデータ) (2023-10-06T05:20:18Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳(メタデータ) (2023-04-17T09:27:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。