論文の概要: An LLM Compiler for Parallel Function Calling
- arxiv url: http://arxiv.org/abs/2312.04511v2
- Date: Tue, 6 Feb 2024 05:17:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 19:24:02.834217
- Title: An LLM Compiler for Parallel Function Calling
- Title(参考訳): 並列関数呼び出しのためのLLMコンパイラ
- Authors: Sehoon Kim, Suhong Moon, Ryan Tabrizi, Nicholas Lee, Michael W.
Mahoney, Kurt Keutzer, Amir Gholami
- Abstract要約: 本稿では,複数の関数呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを紹介する。
ReActと比較して、一貫したレイテンシの高速化が3.7倍、コストの削減が6.7倍、精度が9%向上している。
- 参考スコア(独自算出の注目度): 71.4578671406412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent language models have shown remarkable results on various complex
reasoning benchmarks. The reasoning capabilities of LLMs enable them to execute
external function calls to overcome their inherent limitations, such as
knowledge cutoffs, poor arithmetic skills, or lack of access to private data.
This development has allowed LLMs to select and coordinate multiple functions
based on the context to tackle more complex problems. However, current methods
for multiple function calling often require sequential reasoning and acting for
each function which can result in high latency, cost, and sometimes inaccurate
behavior. To address this, we introduce LLMCompiler, which executes functions
in parallel to efficiently orchestrate multiple function calling. Drawing from
the principles of classical compilers, LLMCompiler streamlines parallel
function calling with three components: (i) an LLM Planner, formulating
execution plans; (ii) a Task Fetching Unit, dispatching function calling tasks;
and (iii) an Executor, executing these tasks in parallel. LLMCompiler
automatically generates an optimized orchestration for the function calls and
can be used with both open-source and closed-source models. We have benchmarked
LLMCompiler on a range of tasks with different patterns of function calling. We
observe consistent latency speedup of up to 3.7x, cost savings of up to 6.7x,
and accuracy improvement of up to ~9% compared to ReAct.
- Abstract(参考訳): 最近の言語モデルは様々な複雑な推論ベンチマークで顕著な結果を示している。
LLMの推論能力により、知識の遮断、算術能力の不足、プライベートデータへのアクセスの欠如など、独自の制限を克服するために外部関数呼び出しを実行することができる。
この開発により、LLMはコンテキストに基づいて複数の関数を選択し調整し、より複雑な問題に取り組むことができる。
しかし、現在の複数の関数呼び出しのメソッドは、しばしば、高いレイテンシ、コスト、時には不正確な振る舞いをもたらす、各関数のシーケンシャルな推論と動作を必要とする。
これに対処するために,並列に関数を実行するLLMCompilerを導入し,複数の関数呼び出しを効率的にオーケストレーションする。
古典的なコンパイラの原則から、LLMCompilerは3つのコンポーネントで並列関数呼び出しを合理化する。
i) LLMプランナーであって,実行計画を定めているもの
(ii)タスクフェッチユニット、タスクを呼び出す関数のディスパッチ、及び
(iii)これらのタスクを並列に実行するExecutor。
LLMCompilerは関数呼び出しに最適化されたオーケストレーションを自動的に生成し、オープンソースモデルとクローズドソースモデルの両方で使用することができる。
我々は様々な関数呼び出しパターンを持つタスクでllmcompilerをベンチマークした。
一貫性のあるレイテンシのスピードアップは3.7倍まで,コスト削減は6.7倍まで,正確性は最大9%まで向上しています。
関連論文リスト
- PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳(メタデータ) (2024-03-06T15:33:32Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task
Completion [96.47420221442397]
我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。
また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。
その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
論文 参考訳(メタデータ) (2023-11-03T08:06:35Z) - Reverse Chain: A Generic-Rule for LLMs to Master Multi-API Planning [8.96245399645571]
本稿では,制御可能なターゲット駆動型アプローチであるReverse Chain'を紹介し,プロンプトのみで外部APIを操作可能な大規模言語モデルを提案する。
制御可能な多機能呼び出しを管理するために、Reverse Chainは、後方推論プロセスに基づいたジェネリックルールを採用する。
論文 参考訳(メタデータ) (2023-10-06T05:20:18Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳(メタデータ) (2023-04-17T09:27:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。