論文の概要: A Framework for Effective Invocation Methods of Various LLM Services

• arxiv url: http://arxiv.org/abs/2402.03408v3
• Date: Mon, 23 Dec 2024 12:55:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:52:12.049081
• Title: A Framework for Effective Invocation Methods of Various LLM Services
• Title（参考訳）: 各種LLMサービスの効果的な実行方法のためのフレームワーク
• Authors: Can Wang, Dianbo Sui, Bolin Zhang, Xiaoyu Liu, Jiabao Kang, Zhidong Qiao, Zhiying Tu,
• Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理タスクを解く上で、素晴らしい能力を示している。 さまざまなプロバイダが,価格やレイテンシ,パフォーマンスの面で,さまざまなLLMサービスを提供している。 本稿では, LLM サービスの効率的な呼び出しを支援する手法について概説する。
• 参考スコア（独自算出の注目度）: 8.282170544208373
• License:
• Abstract: Large Language Models (LLMs) have shown impressive abilities in solving various natural language processing tasks and are now widely offered as services. LLM services enable users to accomplish tasks without requiring specialized knowledge, simply by paying service providers. However, numerous providers offer various LLM services with variations in pricing, latency, and performance. These factors are also affected by different invocation methods, such as the choice of context and the use of cache, which lead to unpredictable and uncontrollable service cost and quality. Consequently, utilizing various LLM services invocation methods to construct an effective (cost-saving, low-latency and high-performance) invocation strategy that best meets task demands becomes a pressing challenge. This paper provides a comprehensive overview of methods help LLM services to be invoked efficiently. Technically, we define the problem of constructing an effective LLM services invocation strategy, and based on this, propose a unified LLM service invocation framework. The framework classifies existing methods into four categories: input abstraction, semantic cache, solution design, and output enhancement, which can be used separately or jointly during the invocation life cycle. We discuss the methods in each category and compare them to provide valuable guidance for researchers. Finally, we emphasize the open challenges in this domain and shed light on future research.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理タスクの解決に優れた能力を示しており、現在ではサービスとして広く提供されている。 LLMサービスは、ユーザが特別な知識を必要とせずに、単に有料のサービスプロバイダによってタスクを達成できるようにする。 しかし、多くのプロバイダは、価格、レイテンシ、パフォーマンスの異なる様々なLLMサービスを提供している。 これらの要因は、コンテキストの選択やキャッシュの使用など、さまざまな呼び出し方法の影響も受けています。 その結果, タスク要求に最も適した効率的な(コスト削減, 低レイテンシ, 高性能な)呼び出し戦略を構築する上で, 様々なLCMサービス呼び出し手法を活用することが課題となる。 本稿では, LLM サービスの効率的な呼び出しを支援する手法について概説する。 技術的には、有効なLLMサービス呼び出し戦略を構築することの問題を定義し、これに基づいて統一LLMサービス呼び出しフレームワークを提案する。 フレームワークは既存のメソッドを、入力抽象化、セマンティックキャッシュ、ソリューション設計、出力拡張の4つのカテゴリに分類します。 それぞれのカテゴリーの手法を議論し、研究者に貴重なガイダンスを提供するために比較する。 最後に、この領域におけるオープンな課題を強調し、将来の研究に光を当てます。

関連論文リスト

• Plug-and-Play Performance Estimation for LLM Services without Relying on Labeled Data [8.360964737763657]
  大規模言語モデル(LLM)サービスは、インコンテキスト学習(ICL)による少数の例を活用した、未学習のタスクに印象的な能力を示す。 本稿では,異なるタスクやコンテキストにまたがるLLMサービスの性能を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T09:15:14Z)
• Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
  我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。 既存の評価は最終的な成功率にのみ依存する傾向がある。 本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:00Z)
• UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
  MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。 既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。 大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
  論文  参考訳（メタデータ） (2024-07-23T03:58:08Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。