論文の概要: An LLM Compiler for Parallel Function Calling
- arxiv url: http://arxiv.org/abs/2312.04511v1
- Date: Thu, 7 Dec 2023 18:32:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 13:45:53.032208
- Title: An LLM Compiler for Parallel Function Calling
- Title（参考訳）: 並列関数呼び出しのためのLLMコンパイラ
- Authors: Sehoon Kim, Suhong Moon, Ryan Tabrizi, Nicholas Lee, Michael W.
Mahoney, Kurt Keutzer, Amir Gholami
- Abstract要約: マルチファンクション呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを導入する。
ReActと比較して、一貫したレイテンシの高速化、最大6.7倍のコスト削減、最大9%の精度向上を観察する。
- 参考スコア（独自算出の注目度）: 71.4578671406412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have shown remarkable results on various complex
reasoning benchmarks. The reasoning capabilities of LLMs enable them to execute
function calls, using user-provided functions to overcome their inherent
limitations, such as knowledge cutoffs, poor arithmetic skills, or lack of
access to private data. This development has expanded LLMs' scope to include
multi-function calling, where LLMs are equipped with a variety of functions and
select the proper functions based on the context. Multi-function calling
abilities of LLMs have catalyzed LLM-based software development, allowing them
to tackle more complex problems. However, current methods for multi-function
calling often require sequential reasoning and acting for each function which
can result in high latency, cost, and sometimes inaccurate behavior. To address
this, we introduce LLMCompiler, which executes functions in parallel to
efficiently orchestrate multi-function calling. Drawing from the principles of
classical compilers, LLMCompiler streamlines parallel function calling with
three components: (i) an LLM Planner, formulating execution strategies and
dependencies; (ii) a Task Fetching Unit, dispatching function calling tasks;
and (iii) an Executor, executing these tasks in parallel. LLMCompiler
automatically computes an optimized orchestration for the function calls and
can be used with open-source models such as LLaMA-2. We have benchmarked
LLMCompiler on a range of tasks including cases with non-trivial
inter-dependency between function calls, as well as cases that require dynamic
replanning based on intermediate results. We observe consistent latency speedup
of up to 3.7x, cost savings of up to 6.7x, and accuracy improvement of up to
~9% as compared to ReAct. Additionally, LLMCompiler achieves up to 1.35x
latency gain over OpenAI's recent parallel function calling, while achieving
similar accuracy.
- Abstract（参考訳）: 大規模言語モデル(llm)は様々な複雑な推論ベンチマークで顕著な結果を示している。
LLMの推論能力により、ユーザが提供する関数を使用して、知識の遮断、算術能力の低下、プライベートデータへのアクセスの欠如など、固有の制限を克服できる。
この開発により、LLMのスコープを多機能呼び出しに拡張し、LLMは様々な機能を備え、コンテキストに基づいて適切な関数を選択する。
LLMの多機能呼び出し能力は、LLMベースのソフトウェア開発を触媒し、より複雑な問題に取り組むことができる。
しかし、現在のマルチファンクション呼び出しの方法は、しばしば、高いレイテンシ、コスト、時には不正確な振る舞いをもたらす、各関数のシーケンシャルな推論と動作を必要とする。
これを解決するために,並列に関数を実行するLLMCompilerを導入し,多機能呼び出しを効率的にオーケストレーションする。
古典的なコンパイラの原則から、LLMCompilerは3つのコンポーネントで並列関数呼び出しを合理化する。
i) LLMプランナーであって,実行戦略及び依存関係を定式化するもの
(ii)タスクフェッチユニット、タスクを呼び出す関数のディスパッチ、及び
(iii)これらのタスクを並列に実行するExecutor。
LLMCompilerは関数呼び出しの最適化オーケストレーションを自動的に計算し、LLaMA-2のようなオープンソースのモデルで使用することができる。
我々はllmcompilerを,関数呼び出し間の非自明な相互依存のケースや,中間結果に基づく動的再計画を必要とするケースなど,さまざまなタスクでベンチマークした。
一貫性のあるレイテンシのスピードアップは3.7倍まで,コスト削減は6.7倍まで,正確性はreactと比較して最大9%向上しています。
さらに、LLMCompilerはOpenAIの最近の並列関数呼び出しよりも最大1.35倍のレイテンシ向上を実現している。
関連論文リスト
- Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。
近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。
完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
論文 参考訳（メタデータ） (2024-11-21T04:23:17Z) - Facilitating Multi-turn Function Calling for LLMs via Compositional Instruction Tuning [36.17708271049462]
大規模言語モデル(LLM)は多様なタスクを実行する上で大きな可能性を秘めている。
本稿では,LLMがマルチターン関数呼び出しを行う上で,見過ごされる必要性に対処する。
BUTTONはボトムアップ命令構築とトップダウン軌道生成による合成合成命令チューニングデータを生成する。
論文 参考訳（メタデータ） (2024-10-16T18:40:26Z) - Granite-Function Calling Model: Introducing Function Calling Abilities via Multi-task Learning of Granular Tasks [35.97890508648945]
我々はApache 2.0ライセンスの下で-20B-FUNCTIONCALLINGモデルを紹介します。
モデルは7つの基本的なタスクに対してマルチタスクトレーニングアプローチを使用してトレーニングされる。
20B-FUNCTIONCALLINGは、7つの異なる評価データセットにおいて、複数のタスクに対してより一般化可能であることを示す。
論文 参考訳（メタデータ） (2024-06-27T17:47:26Z) - BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。
評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。
そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
論文 参考訳（メタデータ） (2024-06-22T15:52:04Z) - An LLM-Tool Compiler for Fused Parallel Function Calling [1.990293258268139]
LLM(Large Language Models)における最先端のシーケンシャル推論は、会話タスク以外のCopilotの機能を複雑な関数呼び出しに拡張した。
LLM-Toolコンパイラは、実行時に単一の関数の下で同様のツール操作を融合し、LLMに統一的なタスクとして提示する。
大規模なCopilotプラットフォーム上でベンチマークされたLLM-Toolコンパイラは、既存のメソッドよりも最大4倍の並列呼び出しを実現し、トークンコストとレイテンシを最大40%と12%削減する。
論文 参考訳（メタデータ） (2024-05-07T18:55:50Z) - PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task
Completion [96.47420221442397]
我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。
また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。
その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
論文 参考訳（メタデータ） (2023-11-03T08:06:35Z) - Reverse Chain: A Generic-Rule for LLMs to Master Multi-API Planning [8.96245399645571]
本稿では,制御可能なターゲット駆動型アプローチであるReverse Chain'を紹介し,プロンプトのみで外部APIを操作可能な大規模言語モデルを提案する。
制御可能な多機能呼び出しを管理するために、Reverse Chainは、後方推論プロセスに基づいたジェネリックルールを採用する。
論文 参考訳（メタデータ） (2023-10-06T05:20:18Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z) - Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。
より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。
ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文 参考訳（メタデータ） (2023-04-17T09:27:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。