論文の概要: A Survey on Effective Invocation Methods of Massive LLM Services
- arxiv url: http://arxiv.org/abs/2402.03408v1
- Date: Mon, 5 Feb 2024 15:10:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 18:23:04.467329
- Title: A Survey on Effective Invocation Methods of Massive LLM Services
- Title(参考訳): 大規模LLMサービスの効果的な実行方法に関する調査研究
- Authors: Can Wang, Bolin Zhang, Dianbo Sui, Zhiying Tum, Xiaoyu Liu and Jiabao
Kang
- Abstract要約: 言語モデル・アズ・ア・サービス(LM)は、サービスプロバイダに課金するだけで、特別な知識を必要とせずにタスクを達成できる。
さまざまなプロバイダが、レイテンシ、パフォーマンス、価格のバリエーションを備えた大規模な大規模言語モデル(LLM)サービスを提供している。
本稿では, LLMサービス呼び出し方式の概要を概観する。
- 参考スコア(独自算出の注目度): 9.029580573134037
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models as a service (LMaaS) enable users to accomplish tasks without
requiring specialized knowledge, simply by paying a service provider. However,
numerous providers offer massive large language model (LLM) services with
variations in latency, performance, and pricing. Consequently, constructing the
cost-saving LLM services invocation strategy with low-latency and
high-performance responses that meet specific task demands becomes a pressing
challenge. This paper provides a comprehensive overview of the LLM services
invocation methods. Technically, we give a formal definition of the problem of
constructing effective invocation strategy in LMaaS and present the LLM
services invocation framework. The framework classifies existing methods into
four different components, including input abstract, semantic cache, solution
design, and output enhancement, which can be freely combined with each other.
Finally, we emphasize the open challenges that have not yet been well addressed
in this task and shed light on future research.
- Abstract(参考訳): 言語モデル・アズ・ア・サービス(LMaaS)は、サービスプロバイダに課金するだけで、特別な知識を必要とせずにタスクを達成できる。
しかし、多くのプロバイダは、レイテンシ、パフォーマンス、価格の異なる大規模言語モデル(LLM)サービスを提供している。
その結果、特定のタスク要求を満たす低レイテンシかつ高性能な応答でLCMサービス実行戦略を構築することは、非常に難しい課題となる。
本稿では, LLMサービス呼び出し方式の概要を概観する。
技術的には、LMaaSにおける効果的な呼び出し戦略を構築することの問題を正式に定義し、LLMサービス呼び出しフレームワークを提示する。
このフレームワークは、既存のメソッドを入力抽象、セマンティックキャッシュ、ソリューション設計、出力拡張を含む4つの異なるコンポーネントに分類する。
最後に、このタスクでまだ十分に対処されていないオープンな課題を強調し、今後の研究に光を当てる。
関連論文リスト
- CourseGPT-zh: an Educational Large Language Model Based on Knowledge Distillation Incorporating Prompt Optimization [22.080563239179618]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて驚くべき機能を示している。
我々は、カスタマイズと低コストな展開をサポートするコース指向LLMであるCourseGPT-zhを提案する。
論文 参考訳(メタデータ) (2024-05-08T03:11:12Z) - Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳(メタデータ) (2024-04-18T15:21:34Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。
人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。
我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
論文 参考訳(メタデータ) (2023-09-30T07:11:39Z) - LLM Guided Inductive Inference for Solving Compositional Problems [1.6727879968475368]
大規模言語モデル (LLM) は質問応答タスクにおいて顕著な性能を示した。
既存のメソッドは、順次呼び出されたモジュールを使って推論タスクを分解する。
本稿では,オープンワールドで深い推論処理を行うRecursion based LLM (REBEL)を提案する。
論文 参考訳(メタデータ) (2023-09-20T23:44:16Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。