Fugu-MT 論文翻訳(概要): GeckOpt: LLM System Efficiency via Intent-Based Tool Selection

論文の概要: GeckOpt: LLM System Efficiency via Intent-Based Tool Selection

arxiv url: http://arxiv.org/abs/2404.15804v1
Date: Wed, 24 Apr 2024 11:03:15 GMT
ステータス: 処理完了
システム内更新日: 2024-04-26 19:30:27.550803
Title: GeckOpt: LLM System Efficiency via Intent-Based Tool Selection
Title（参考訳）: GeckOpt: インテントベースのツール選択によるLLMシステムの効率性
Authors: Michael Fore, Simranjit Singh, Dimitrios Stamoulis,
Abstract要約: GPTに基づく大規模言語モデル(LLM)の合理化ツール選択のための推論手法について検討する。実行時にユーザプロンプトの背後にある意図を特定することで、タスク実行に必要なAPIを縮小し、トークン使用量を最大24.6%削減します。 100以上のGPT-4-Turboノードを持つ現実世界の大規模並列Copilotプラットフォームの初期結果は、LCMベースのシステム効率を改善するためのコスト削減と可能性を示している。
参考スコア（独自算出の注目度）: 1.8434042562191815
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this preliminary study, we investigate a GPT-driven intent-based reasoning approach to streamline tool selection for large language models (LLMs) aimed at system efficiency. By identifying the intent behind user prompts at runtime, we narrow down the API toolset required for task execution, reducing token consumption by up to 24.6\%. Early results on a real-world, massively parallel Copilot platform with over 100 GPT-4-Turbo nodes show cost reductions and potential towards improving LLM-based system efficiency.
Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) に対する GPT による意図に基づく推論手法について検討する。実行時にユーザプロンプトの背後にある意図を特定することで、タスク実行に必要なAPIツールセットを縮小し、トークンの消費量を最大24.6\%削減します。 100以上のGPT-4-Turboノードを持つ現実世界の大規模並列Copilotプラットフォームの初期結果は、LCMベースのシステム効率を改善するためのコスト削減と可能性を示している。

関連論文リスト

CATP-LLM: Empowering Large Language Models for Cost-Aware Tool Planning [43.13654681136326]
コスト対応ツール計画のためのLCM(CATP-LLM)フレームワークを提案する。 LLMは、効率的な並行ツールの実行とコスト削減のために、複数のブランチの非逐次計画を生成するために、LLMを強化するためのツール計画言語を組み込んでいる。また、コスト対応計画評価のための最初のプラットフォームであるOpenCATPについても紹介する。
論文参考訳（メタデータ） (2024-11-25T12:05:49Z)
A Web-Based Solution for Federated Learning with LLM-Based Automation [34.756818299081736]
フェデレートラーニング(FL)は、分散デバイス間で協調的な機械学習に有望なアプローチを提供する。我々は,フェデレート平均化(FedAvg)アルゴリズムをサポートするユーザフレンドリーなWebアプリケーションを開発した。 FLにおける意図に基づく自動化を、カスタマイズされたデータセットで訓練された微調整言語モデル(LLM)を用いて検討する。
論文参考訳（メタデータ） (2024-08-23T11:57:02Z)
ScaleLLM: A Resource-Frugal LLM Serving Framework by Optimizing End-to-End Efficiency [20.33467627548677]
大規模言語モデル(LLM)は人気が高まり、商用アプリケーションで広く使われている。 LLMサービスシステムにおいて、エンドツーエンドのレイテンシに影響を及ぼす大きなボトルネックを特定するために、詳細な分析を行う。次に,資源効率の高いLLMサービスのための最適化システムであるScaleLLMを提案する。
論文参考訳（メタデータ） (2024-07-23T23:37:29Z)
Automated Text Scoring in the Age of Generative AI for the GPU-poor [49.1574468325115]
自動テキストスコアリングのためのオープンソースの小規模生成言語モデルの性能と効率を解析する。以上の結果から, GLMは, 最先端の高性能化には至らず, 適正な調整が可能であることが示唆された。
論文参考訳（メタデータ） (2024-07-02T01:17:01Z)
Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
論文参考訳（メタデータ） (2024-05-01T11:10:24Z)
LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
論文参考訳（メタデータ） (2024-03-07T18:50:51Z)
MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文参考訳（メタデータ） (2024-02-26T18:59:03Z)
Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文参考訳（メタデータ） (2024-01-02T18:53:13Z)
OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文参考訳（メタデータ） (2023-05-24T10:08:04Z)
ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models [32.95155349925248]
本稿では,外部観測から推論プロセスを取り除き,トークン消費量を大幅に削減するモジュラーパラダイムReWOOを提案する。マルチステップ推論ベンチマークであるHotpotQAにおいて,ReWOOは5倍のトークン効率と4%の精度向上を実現している。本稿では,175B GPT3.5から7B LLaMAへの推論能力をオフロードし,真に効率的でスケーラブルなALMシステムの可能性を示す。
論文参考訳（メタデータ） (2023-05-23T00:16:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。