論文の概要: A Framework for Effective Invocation Methods of Various LLM Services

• arxiv url: http://arxiv.org/abs/2402.03408v3
• Date: Mon, 23 Dec 2024 12:55:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:52:12.049081
• Title: A Framework for Effective Invocation Methods of Various LLM Services
• Title（参考訳）: 各種LLMサービスの効果的な実行方法のためのフレームワーク
• Authors: Can Wang, Dianbo Sui, Bolin Zhang, Xiaoyu Liu, Jiabao Kang, Zhidong Qiao, Zhiying Tu,
• Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理タスクを解く上で、素晴らしい能力を示している。 さまざまなプロバイダが,価格やレイテンシ,パフォーマンスの面で,さまざまなLLMサービスを提供している。 本稿では, LLM サービスの効率的な呼び出しを支援する手法について概説する。
• 参考スコア（独自算出の注目度）: 8.282170544208373
• License:
• Abstract: Large Language Models (LLMs) have shown impressive abilities in solving various natural language processing tasks and are now widely offered as services. LLM services enable users to accomplish tasks without requiring specialized knowledge, simply by paying service providers. However, numerous providers offer various LLM services with variations in pricing, latency, and performance. These factors are also affected by different invocation methods, such as the choice of context and the use of cache, which lead to unpredictable and uncontrollable service cost and quality. Consequently, utilizing various LLM services invocation methods to construct an effective (cost-saving, low-latency and high-performance) invocation strategy that best meets task demands becomes a pressing challenge. This paper provides a comprehensive overview of methods help LLM services to be invoked efficiently. Technically, we define the problem of constructing an effective LLM services invocation strategy, and based on this, propose a unified LLM service invocation framework. The framework classifies existing methods into four categories: input abstraction, semantic cache, solution design, and output enhancement, which can be used separately or jointly during the invocation life cycle. We discuss the methods in each category and compare them to provide valuable guidance for researchers. Finally, we emphasize the open challenges in this domain and shed light on future research.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理タスクの解決に優れた能力を示しており、現在ではサービスとして広く提供されている。 LLMサービスは、ユーザが特別な知識を必要とせずに、単に有料のサービスプロバイダによってタスクを達成できるようにする。 しかし、多くのプロバイダは、価格、レイテンシ、パフォーマンスの異なる様々なLLMサービスを提供している。 これらの要因は、コンテキストの選択やキャッシュの使用など、さまざまな呼び出し方法の影響も受けています。 その結果, タスク要求に最も適した効率的な(コスト削減, 低レイテンシ, 高性能な)呼び出し戦略を構築する上で, 様々なLCMサービス呼び出し手法を活用することが課題となる。 本稿では, LLM サービスの効率的な呼び出しを支援する手法について概説する。 技術的には、有効なLLMサービス呼び出し戦略を構築することの問題を定義し、これに基づいて統一LLMサービス呼び出しフレームワークを提案する。 フレームワークは既存のメソッドを、入力抽象化、セマンティックキャッシュ、ソリューション設計、出力拡張の4つのカテゴリに分類します。 それぞれのカテゴリーの手法を議論し、研究者に貴重なガイダンスを提供するために比較する。 最後に、この領域におけるオープンな課題を強調し、将来の研究に光を当てます。

関連論文リスト

• Plug-and-Play Performance Estimation for LLM Services without Relying on Labeled Data [8.360964737763657]
  大規模言語モデル(LLM)サービスは、インコンテキスト学習(ICL)による少数の例を活用した、未学習のタスクに印象的な能力を示す。 本稿では,異なるタスクやコンテキストにまたがるLLMサービスの性能を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T09:15:14Z)
• Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
  我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。 既存の評価は最終的な成功率にのみ依存する傾向がある。 本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:00Z)
• Sketch: A Toolkit for Streamlining LLM Operations [51.33202045501429]
  大規模言語モデル(LLM)は大きな成功を収めた。 アウトプットフォーマットの柔軟性は、モデルのアウトプットを制御および活用する上での課題を引き起こします。 スケッチ(Sketch)は、多種多様な分野にわたるLCM操作を合理化するための革新的なツールキットである。
  論文  参考訳（メタデータ） (2024-09-05T08:45:44Z)
• UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
  MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。 既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。 大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
  論文  参考訳（メタデータ） (2024-07-23T03:58:08Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。