Fugu-MT 論文翻訳(概要): GeckOpt: LLM System Efficiency via Intent-Based Tool Selection

論文の概要: GeckOpt: LLM System Efficiency via Intent-Based Tool Selection

arxiv url: http://arxiv.org/abs/2404.15804v1
Date: Wed, 24 Apr 2024 11:03:15 GMT
ステータス: 処理完了
システム内更新日: 2024-04-26 19:30:27.550803
Title: GeckOpt: LLM System Efficiency via Intent-Based Tool Selection
Title（参考訳）: GeckOpt: インテントベースのツール選択によるLLMシステムの効率性
Authors: Michael Fore, Simranjit Singh, Dimitrios Stamoulis,
Abstract要約: GPTに基づく大規模言語モデル(LLM)の合理化ツール選択のための推論手法について検討する。実行時にユーザプロンプトの背後にある意図を特定することで、タスク実行に必要なAPIを縮小し、トークン使用量を最大24.6%削減します。 100以上のGPT-4-Turboノードを持つ現実世界の大規模並列Copilotプラットフォームの初期結果は、LCMベースのシステム効率を改善するためのコスト削減と可能性を示している。
参考スコア（独自算出の注目度）: 1.8434042562191815
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this preliminary study, we investigate a GPT-driven intent-based reasoning approach to streamline tool selection for large language models (LLMs) aimed at system efficiency. By identifying the intent behind user prompts at runtime, we narrow down the API toolset required for task execution, reducing token consumption by up to 24.6\%. Early results on a real-world, massively parallel Copilot platform with over 100 GPT-4-Turbo nodes show cost reductions and potential towards improving LLM-based system efficiency.
Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) に対する GPT による意図に基づく推論手法について検討する。実行時にユーザプロンプトの背後にある意図を特定することで、タスク実行に必要なAPIツールセットを縮小し、トークンの消費量を最大24.6\%削減します。 100以上のGPT-4-Turboノードを持つ現実世界の大規模並列Copilotプラットフォームの初期結果は、LCMベースのシステム効率を改善するためのコスト削減と可能性を示している。

関連論文リスト

Distilling Multi-modal Large Language Models for Autonomous Driving [64.63127269187814]
近年のエンド・ツー・エンドの自動運転システムは,大規模言語モデル(LLM)をプランナーとして活用し,レアイベントに対する一般化性を向上させる。我々は,LLMの世界の知識を活用しつつ,LLMフリー(あるいはビジョンベース)プランナの効率を維持するエンド・ツー・エンドの自動運転システムであるDiMAを提案する。 DiMAを用いたトレーニングでは、L2軌道誤差が37%減少し、ビジョンベースプランナーの衝突速度が80%低下し、ロングテールシナリオでは44%軌道誤差が減少する。
論文参考訳（メタデータ） (2025-01-16T18:59:53Z)
PromptOptMe: Error-Aware Prompt Compression for LLM-based MT Evaluation Metrics [21.23509339665165]
提案手法は,より小型の微調整言語モデルを用いて,評価プロンプトの入力データを圧縮するプロンプト最適化手法である。評価品質を損なうことなくトークン使用率を2.37倍に削減できることを示す。
論文参考訳（メタデータ） (2024-12-20T18:08:02Z)
CATP-LLM: Empowering Large Language Models for Cost-Aware Tool Planning [43.13654681136326]
コスト対応ツール計画のためのLCM(CATP-LLM)フレームワークを提案する。 LLMは、効率的な並行ツールの実行とコスト削減のために、複数のブランチの非逐次計画を生成するために、LLMを強化するためのツール計画言語を組み込んでいる。また、コスト対応計画評価のための最初のプラットフォームであるOpenCATPについても紹介する。
論文参考訳（メタデータ） (2024-11-25T12:05:49Z)
A Web-Based Solution for Federated Learning with LLM-Based Automation [34.756818299081736]
フェデレートラーニング(FL)は、分散デバイス間で協調的な機械学習に有望なアプローチを提供する。我々は,フェデレート平均化(FedAvg)アルゴリズムをサポートするユーザフレンドリーなWebアプリケーションを開発した。 FLにおける意図に基づく自動化を、カスタマイズされたデータセットで訓練された微調整言語モデル(LLM)を用いて検討する。
論文参考訳（メタデータ） (2024-08-23T11:57:02Z)
ScaleLLM: A Resource-Frugal LLM Serving Framework by Optimizing End-to-End Efficiency [20.33467627548677]
大規模言語モデル(LLM)は人気が高まり、商用アプリケーションで広く使われている。 LLMサービスシステムにおいて、エンドツーエンドのレイテンシに影響を及ぼす大きなボトルネックを特定するために、詳細な分析を行う。次に,資源効率の高いLLMサービスのための最適化システムであるScaleLLMを提案する。
論文参考訳（メタデータ） (2024-07-23T23:37:29Z)
Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
論文参考訳（メタデータ） (2024-05-01T11:10:24Z)
LLMTreeRec: Unleashing the Power of Large Language Models for Cold-Start Recommendations [67.57808826577678]
大規模言語モデル(LLM)は、言語分析タスクとしてレコメンデーションタスクをモデル化し、その膨大なオープンワールド知識に基づいてゼロショット結果を提供する。しかし、アイテムコーパスの大規模化は、LLMに挑戦し、実際のレコメンデーションシステムにデプロイすることが不可能な、相当量のトークン消費につながる。 LLMレコメンデーションフレームワークLLMTreeRecを導入し、全ての項目をアイテムツリーに構造化し、LLMのアイテム検索の効率を向上させる。
論文参考訳（メタデータ） (2024-03-31T14:41:49Z)
LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
論文参考訳（メタデータ） (2024-03-07T18:50:51Z)
MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文参考訳（メタデータ） (2024-02-26T18:59:03Z)
OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文参考訳（メタデータ） (2023-05-24T10:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。