論文の概要: An LLM Compiler for Parallel Function Calling

• arxiv url: http://arxiv.org/abs/2312.04511v3
• Date: Wed, 5 Jun 2024 03:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 03:55:26.089121
• Title: An LLM Compiler for Parallel Function Calling
• Title（参考訳）: 並列関数呼び出しのためのLLMコンパイラ
• Authors: Sehoon Kim, Suhong Moon, Ryan Tabrizi, Nicholas Lee, Michael W. Mahoney, Kurt Keutzer, Amir Gholami,
• Abstract要約: 我々は,複数の関数呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを紹介する。 ReActと比較して、一貫したレイテンシの高速化が3.7倍、コストの削減が6.7倍、精度が9%向上している。
• 参考スコア（独自算出の注目度）: 68.04566807806071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reasoning capabilities of the recent LLMs enable them to execute external function calls to overcome their inherent limitations, such as knowledge cutoffs, poor arithmetic skills, or lack of access to private data. This development has allowed LLMs to select and coordinate multiple functions based on the context to tackle more complex problems. However, current methods for function calling often require sequential reasoning and acting for each function which can result in high latency, cost, and sometimes inaccurate behavior. To address this, we introduce LLMCompiler, which executes functions in parallel to efficiently orchestrate multiple function calls. Drawing inspiration from the principles of classical compilers, LLMCompiler enables parallel function calling with three components: (i) a Function Calling Planner, formulating execution plans for function calling; (ii) a Task Fetching Unit, dispatching function calling tasks; and (iii) an Executor, executing these tasks in parallel. LLMCompiler automatically generates an optimized orchestration for the function calls and can be used with both open-source and closed-source models. We have benchmarked LLMCompiler on a range of tasks with different patterns of function calling. We observe consistent latency speedup of up to 3.7x, cost savings of up to 6.7x, and accuracy improvement of up to ~9% compared to ReAct. Our code is available at https://github.com/SqueezeAILab/LLMCompiler.
• Abstract（参考訳）: 最近のLCMの推論能力により、知識の遮断、算術能力の不足、プライベートデータへのアクセスの欠如など、外部関数呼び出しを実行して、固有の制限を克服することができる。 この開発により、LLMはコンテキストに基づいて複数の関数を選択し、コーディネートし、より複雑な問題に対処できるようになった。 しかしながら、関数呼び出しの現在のメソッドは、しばしば、高いレイテンシ、コスト、時には不正確な振る舞いをもたらす、各関数のシーケンシャルな推論と動作を必要とする。 これに対処するため,複数の関数呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを導入する。 古典的なコンパイラの原理からインスピレーションを得たLLMCompilerは、3つのコンポーネントで並列関数呼び出しを可能にする。 i) 関数呼び出しプランナーであって,関数呼び出しの実行計画を定式化するもの (ii)タスクフェッチユニット、タスクを呼び出す関数のディスパッチ、及び (iii)これらのタスクを並列に実行するExecutor。 LLMCompilerは関数呼び出しに最適化されたオーケストレーションを自動的に生成し、オープンソースモデルとクローズドソースモデルの両方で使用することができる。 我々はLLMCompilerを様々な関数呼び出しパターンのタスクでベンチマークした。 我々は、最大3.7倍のレイテンシ、最大6.7倍のコスト削減、ReActと比較して最大9%の精度向上を観察する。 私たちのコードはhttps://github.com/SqueezeAILab/LLMCompiler.comから入手可能です。

関連論文リスト

• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• Facilitating Multi-turn Function Calling for LLMs via Compositional Instruction Tuning [36.17708271049462]
  大規模言語モデル(LLM)は多様なタスクを実行する上で大きな可能性を秘めている。 本稿では,LLMがマルチターン関数呼び出しを行う上で,見過ごされる必要性に対処する。 BUTTONはボトムアップ命令構築とトップダウン軌道生成による合成合成命令チューニングデータを生成する。
  論文  参考訳（メタデータ） (2024-10-16T18:40:26Z)
• Granite-Function Calling Model: Introducing Function Calling Abilities via Multi-task Learning of Granular Tasks [35.97890508648945]
  我々はApache 2.0ライセンスの下で-20B-FUNCTIONCALLINGモデルを紹介します。 モデルは7つの基本的なタスクに対してマルチタスクトレーニングアプローチを使用してトレーニングされる。 20B-FUNCTIONCALLINGは、7つの異なる評価データセットにおいて、複数のタスクに対してより一般化可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-27T17:47:26Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• An LLM-Tool Compiler for Fused Parallel Function Calling [1.990293258268139]
  LLM(Large Language Models)における最先端のシーケンシャル推論は、会話タスク以外のCopilotの機能を複雑な関数呼び出しに拡張した。 LLM-Toolコンパイラは、実行時に単一の関数の下で同様のツール操作を融合し、LLMに統一的なタスクとして提示する。 大規模なCopilotプラットフォーム上でベンチマークされたLLM-Toolコンパイラは、既存のメソッドよりも最大4倍の並列呼び出しを実現し、トークンコストとレイテンシを最大40%と12%削減する。
  論文  参考訳（メタデータ） (2024-05-07T18:55:50Z)
• PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion [96.47420221442397]
  我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。 また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。 その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-11-03T08:06:35Z)
• Reverse Chain: A Generic-Rule for LLMs to Master Multi-API Planning [8.96245399645571]
  本稿では,制御可能なターゲット駆動型アプローチであるReverse Chain'を紹介し,プロンプトのみで外部APIを操作可能な大規模言語モデルを提案する。 制御可能な多機能呼び出しを管理するために、Reverse Chainは、後方推論プロセスに基づいたジェネリックルールを採用する。
  論文  参考訳（メタデータ） (2023-10-06T05:20:18Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
  本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。 より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。 ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
  論文  参考訳（メタデータ） (2023-04-17T09:27:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。