論文の概要: GeckOpt: LLM System Efficiency via Intent-Based Tool Selection
- arxiv url: http://arxiv.org/abs/2404.15804v1
- Date: Wed, 24 Apr 2024 11:03:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 19:30:27.550803
- Title: GeckOpt: LLM System Efficiency via Intent-Based Tool Selection
- Title(参考訳): GeckOpt: インテントベースのツール選択によるLLMシステムの効率性
- Authors: Michael Fore, Simranjit Singh, Dimitrios Stamoulis,
- Abstract要約: GPTに基づく大規模言語モデル(LLM)の合理化ツール選択のための推論手法について検討する。
実行時にユーザプロンプトの背後にある意図を特定することで、タスク実行に必要なAPIを縮小し、トークン使用量を最大24.6%削減します。
100以上のGPT-4-Turboノードを持つ現実世界の大規模並列Copilotプラットフォームの初期結果は、LCMベースのシステム効率を改善するためのコスト削減と可能性を示している。
- 参考スコア(独自算出の注目度): 1.8434042562191815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this preliminary study, we investigate a GPT-driven intent-based reasoning approach to streamline tool selection for large language models (LLMs) aimed at system efficiency. By identifying the intent behind user prompts at runtime, we narrow down the API toolset required for task execution, reducing token consumption by up to 24.6\%. Early results on a real-world, massively parallel Copilot platform with over 100 GPT-4-Turbo nodes show cost reductions and potential towards improving LLM-based system efficiency.
- Abstract(参考訳): 本稿では,大規模言語モデル (LLM) に対する GPT による意図に基づく推論手法について検討する。
実行時にユーザプロンプトの背後にある意図を特定することで、タスク実行に必要なAPIツールセットを縮小し、トークンの消費量を最大24.6\%削減します。
100以上のGPT-4-Turboノードを持つ現実世界の大規模並列Copilotプラットフォームの初期結果は、LCMベースのシステム効率を改善するためのコスト削減と可能性を示している。
関連論文リスト
- Search-based Optimisation of LLM Learning Shots for Story Point
Estimation [3.5365325264937897]
探索に基づく手法を用いて,LLMの推定性能を向上させる実例の数と組み合わせを最適化する。
予備実験の結果,SBSE法によりLLMの推定性能は平均59.34%向上した。
論文 参考訳(メタデータ) (2024-03-13T11:29:37Z) - LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。
試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。
STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
論文 参考訳(メタデータ) (2024-03-07T18:50:51Z) - From Summary to Action: Enhancing Large Language Models for Complex
Tasks with Open World APIs [62.496139001509114]
大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。
このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。
ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2024-02-28T08:42:23Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳(メタデータ) (2024-02-26T18:59:03Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - AutoML-GPT: Large Language Model for AutoML [5.9145212342776805]
包括的なツールとライブラリを統合するAutoML-GPTというフレームワークを確立しました。
会話インターフェースを通じて、ユーザーは要求、制約、評価メトリクスを指定できる。
我々は、AutoML-GPTが機械学習タスクに必要な時間と労力を大幅に削減することを示した。
論文 参考訳(メタデータ) (2023-09-03T09:39:49Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - GPT4Tools: Teaching Large Language Model to Use Tools via
Self-instruction [41.36474802204914]
GPT4Tools は LLaMA や OPT などのオープンソース LLM のツール使用を可能にするための自己インストラクトに基づいている。
先進的な教師に様々なマルチモーダルな文脈で指示追従データセットを生成する。
論文 参考訳(メタデータ) (2023-05-30T05:27:21Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - ReWOO: Decoupling Reasoning from Observations for Efficient Augmented
Language Models [32.95155349925248]
本稿では,外部観測から推論プロセスを取り除き,トークン消費量を大幅に削減するモジュラーパラダイムReWOOを提案する。
マルチステップ推論ベンチマークであるHotpotQAにおいて,ReWOOは5倍のトークン効率と4%の精度向上を実現している。
本稿では,175B GPT3.5から7B LLaMAへの推論能力をオフロードし,真に効率的でスケーラブルなALMシステムの可能性を示す。
論文 参考訳(メタデータ) (2023-05-23T00:16:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。