論文の概要: An LLM-Tool Compiler for Fused Parallel Function Calling

• arxiv url: http://arxiv.org/abs/2405.17438v1
• Date: Tue, 7 May 2024 18:55:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-02 14:30:04.780031
• Title: An LLM-Tool Compiler for Fused Parallel Function Calling
• Title（参考訳）: 並列関数呼び出しのためのLCM-Toolコンパイラ
• Authors: Simranjit Singh, Andreas Karatzas, Michael Fore, Iraklis Anagnostopoulos, Dimitrios Stamoulis,
• Abstract要約: LLM(Large Language Models)における最先端のシーケンシャル推論は、会話タスク以外のCopilotの機能を複雑な関数呼び出しに拡張した。 LLM-Toolコンパイラは、実行時に単一の関数の下で同様のツール操作を融合し、LLMに統一的なタスクとして提示する。 大規模なCopilotプラットフォーム上でベンチマークされたLLM-Toolコンパイラは、既存のメソッドよりも最大4倍の並列呼び出しを実現し、トークンコストとレイテンシを最大40%と12%削減する。
• 参考スコア（独自算出の注目度）: 1.990293258268139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art sequential reasoning in Large Language Models (LLMs) has expanded the capabilities of Copilots beyond conversational tasks to complex function calling, managing thousands of API calls. However, the tendency of compositional prompting to segment tasks into multiple steps, each requiring a round-trip to the GPT APIs, leads to increased system latency and costs. Although recent advancements in parallel function calling have improved tool execution per API call, they may necessitate more detailed in-context instructions and task breakdown at the prompt level, resulting in higher engineering and production costs. Inspired by the hardware design principles of multiply-add (MAD) operations, which fuse multiple arithmetic operations into a single task from the compiler's perspective, we propose LLM-Tool Compiler, which selectively fuses similar types of tool operations under a single function at runtime, presenting them as a unified task to the LLM. This selective fusion inherently enhances parallelization and efficiency. Benchmarked on a large-scale Copilot platform, LLM-Tool Compiler achieves up to four times more parallel calls than existing methods, reducing token costs and latency by up to 40% and 12%, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLMs)における最先端のシーケンシャル推論は、会話タスク以外のCopilotの機能を、複雑な関数呼び出しに拡張し、数千のAPI呼び出しを管理した。 しかし、構成的なプロンプトによってタスクを複数のステップに分割する傾向があり、それぞれがGPT APIへのラウンドトリップを必要とするため、システムのレイテンシとコストが増加する。 並列関数呼び出しの最近の進歩は、API呼び出し毎のツール実行を改善するが、より詳細なコンテキスト内命令とタスクのブレークダウンを即時に必要とし、エンジニアリングと運用コストが向上する可能性がある。 コンパイラの観点から複数の演算処理を単一タスクに融合する乗算加算演算(MAD)のハードウェア設計原理に着想を得て,LLM-Toolコンパイラを提案する。 この選択的融合は本質的に並列化と効率を高める。 大規模なCopilotプラットフォーム上でベンチマークされたLLM-Toolコンパイラは、既存のメソッドよりも最大4倍の並列呼び出しを実現し、トークンコストとレイテンシを最大40%と12%削減する。

関連論文リスト

• Less is More: Optimizing Function Calling for LLM Execution on Edge Devices [0.44784055850794474]
  大きな言語モデル(LLM)は、複雑な入力を処理したり、複数のツールを効果的に管理できないため、エッジでの関数呼び出しに苦労する。 動的ツール選択のためのファインチューニングフリー関数呼び出し方式であるLess-is-Moreを紹介する。 我々のアプローチは、LLMで利用可能なツールの数を選択的に削減することで、エッジデバイス上での機能呼び出し性能、実行時間、電力効率を大幅に改善する、というキーインサイトに基づいている。
  論文  参考訳（メタデータ） (2024-11-23T00:51:09Z)
• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• APPL: A Prompt Programming Language for Harmonious Integration of Programs and Large Language Model Prompts [21.819126948549766]
  大規模言語モデル(LLM)は、巧妙なプロンプトの助けを借りて、多様なタスクを扱う能力が高まっている。 APPLはコンピュータプログラムとLLMの間のブリッジとして機能し、Python関数へのプロンプトのシームレスな埋め込みを可能にする。
  論文  参考訳（メタデータ） (2024-06-19T02:29:59Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• An LLM Compiler for Parallel Function Calling [68.04566807806071]
  我々は,複数の関数呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを紹介する。 ReActと比較して、一貫したレイテンシの高速化が3.7倍、コストの削減が6.7倍、精度が9%向上している。
  論文  参考訳（メタデータ） (2023-12-07T18:32:04Z)
• PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion [96.47420221442397]
  我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。 また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。 その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-11-03T08:06:35Z)
• Reverse Chain: A Generic-Rule for LLMs to Master Multi-API Planning [8.96245399645571]
  本稿では,制御可能なターゲット駆動型アプローチであるReverse Chain'を紹介し,プロンプトのみで外部APIを操作可能な大規模言語モデルを提案する。 制御可能な多機能呼び出しを管理するために、Reverse Chainは、後方推論プロセスに基づいたジェネリックルールを採用する。
  論文  参考訳（メタデータ） (2023-10-06T05:20:18Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。