論文の概要: A Survey on Effective Invocation Methods of Massive LLM Services

• arxiv url: http://arxiv.org/abs/2402.03408v1
• Date: Mon, 5 Feb 2024 15:10:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 18:23:04.467329
• Title: A Survey on Effective Invocation Methods of Massive LLM Services
• Title（参考訳）: 大規模LLMサービスの効果的な実行方法に関する調査研究
• Authors: Can Wang, Bolin Zhang, Dianbo Sui, Zhiying Tum, Xiaoyu Liu and Jiabao Kang
• Abstract要約: 言語モデル・アズ・ア・サービス(LM)は、サービスプロバイダに課金するだけで、特別な知識を必要とせずにタスクを達成できる。 さまざまなプロバイダが、レイテンシ、パフォーマンス、価格のバリエーションを備えた大規模な大規模言語モデル(LLM)サービスを提供している。 本稿では, LLMサービス呼び出し方式の概要を概観する。
• 参考スコア（独自算出の注目度）: 9.029580573134037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models as a service (LMaaS) enable users to accomplish tasks without requiring specialized knowledge, simply by paying a service provider. However, numerous providers offer massive large language model (LLM) services with variations in latency, performance, and pricing. Consequently, constructing the cost-saving LLM services invocation strategy with low-latency and high-performance responses that meet specific task demands becomes a pressing challenge. This paper provides a comprehensive overview of the LLM services invocation methods. Technically, we give a formal definition of the problem of constructing effective invocation strategy in LMaaS and present the LLM services invocation framework. The framework classifies existing methods into four different components, including input abstract, semantic cache, solution design, and output enhancement, which can be freely combined with each other. Finally, we emphasize the open challenges that have not yet been well addressed in this task and shed light on future research.
• Abstract（参考訳）: 言語モデル・アズ・ア・サービス(LMaaS)は、サービスプロバイダに課金するだけで、特別な知識を必要とせずにタスクを達成できる。 しかし、多くのプロバイダは、レイテンシ、パフォーマンス、価格の異なる大規模言語モデル(LLM)サービスを提供している。 その結果、特定のタスク要求を満たす低レイテンシかつ高性能な応答でLCMサービス実行戦略を構築することは、非常に難しい課題となる。 本稿では, LLMサービス呼び出し方式の概要を概観する。 技術的には、LMaaSにおける効果的な呼び出し戦略を構築することの問題を正式に定義し、LLMサービス呼び出しフレームワークを提示する。 このフレームワークは、既存のメソッドを入力抽象、セマンティックキャッシュ、ソリューション設計、出力拡張を含む4つの異なるコンポーネントに分類する。 最後に、このタスクでまだ十分に対処されていないオープンな課題を強調し、今後の研究に光を当てる。

関連論文リスト

• Plug-and-Play Performance Estimation for LLM Services without Relying on Labeled Data [8.360964737763657]
  大規模言語モデル(LLM)サービスは、インコンテキスト学習(ICL)による少数の例を活用した、未学習のタスクに印象的な能力を示す。 本稿では,異なるタスクやコンテキストにまたがるLLMサービスの性能を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T09:15:14Z)
• Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
  我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。 既存の評価は最終的な成功率にのみ依存する傾向がある。 本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:00Z)
• Sketch: A Toolkit for Streamlining LLM Operations [51.33202045501429]
  大規模言語モデル(LLM)は大きな成功を収めた。 アウトプットフォーマットの柔軟性は、モデルのアウトプットを制御および活用する上での課題を引き起こします。 スケッチ(Sketch)は、多種多様な分野にわたるLCM操作を合理化するための革新的なツールキットである。
  論文  参考訳（メタデータ） (2024-09-05T08:45:44Z)
• UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
  MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。 既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。 大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
  論文  参考訳（メタデータ） (2024-07-23T03:58:08Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。