論文の概要: GPT Semantic Cache: Reducing LLM Costs and Latency via Semantic Embedding Caching

• arxiv url: http://arxiv.org/abs/2411.05276v2
• Date: Tue, 03 Dec 2024 21:40:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:04:38.717560
• Title: GPT Semantic Cache: Reducing LLM Costs and Latency via Semantic Embedding Caching
• Title（参考訳）: GPTセマンティックキャッシュ:セマンティック埋め込みキャッシングによるLCMコストとレイテンシ低減
• Authors: Sajal Regmi, Chetan Phakami Pun,
• Abstract要約: GPT Semantic Cacheは、インメモリストレージ(Redis)におけるクエリ埋め込みのセマンティックキャッシュを利用する方法である。 ユーザクエリを格納することにより、セマンティックに類似した質問を効率よく識別し、大規模言語モデルに対する冗長なAPI呼び出しを伴わずに、事前生成された応答を検索できる。 実験の結果、GPT Semantic CacheはさまざまなクエリカテゴリでAPI呼び出しを最大68.8%削減し、キャッシュヒット率は61.6%から68.8%に向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models (LLMs), such as GPT, have revolutionized artificial intelligence by enabling nuanced understanding and generation of human-like text across a wide range of applications. However, the high computational and financial costs associated with frequent API calls to these models present a substantial bottleneck, especially for applications like customer service chatbots that handle repetitive queries. In this paper, we introduce GPT Semantic Cache, a method that leverages semantic caching of query embeddings in in-memory storage (Redis). By storing embeddings of user queries, our approach efficiently identifies semantically similar questions, allowing for the retrieval of pre-generated responses without redundant API calls to the LLM. This technique achieves a notable reduction in operational costs while significantly enhancing response times, making it a robust solution for optimizing LLM-powered applications. Our experiments demonstrate that GPT Semantic Cache reduces API calls by up to 68.8% across various query categories, with cache hit rates ranging from 61.6% to 68.8%. Additionally, the system achieves high accuracy, with positive hit rates exceeding 97%, confirming the reliability of cached responses. This technique not only reduces operational costs, but also improves response times, enhancing the efficiency of LLM-powered applications.
• Abstract（参考訳）: GPTのような大規模言語モデル(LLM)は、広範囲のアプリケーションにまたがって、微妙な理解と人間のようなテキストの生成を可能にすることによって、人工知能に革命をもたらした。 しかしながら、これらのモデルに対する頻繁なAPI呼び出しに関連する高い計算コストと財政コストは、特に反復的なクエリを処理するカスタマーサービスチャットボットのようなアプリケーションにおいて、重大なボトルネックをもたらします。 本稿では,クエリ埋め込みのセマンティックキャッシュをインメモリストレージ(Redis)に組み込む手法であるGPT Semantic Cacheを紹介する。 ユーザクエリの埋め込みを格納することにより,セマンティックに類似した質問を効率よく識別し,LLMへの冗長なAPI呼び出しを伴わずに,事前に生成した応答を検索することができる。 この技術は、応答時間を大幅に向上させながら、運用コストの顕著な削減を実現し、LCMを動力とするアプリケーションを最適化するための堅牢なソリューションとなる。 我々の実験によると、GPT Semantic Cacheは様々なクエリカテゴリでAPI呼び出しを最大68.8%削減し、キャッシュヒット率は61.6%から68.8%である。 さらに、正のヒット率が97%を超え、キャッシュされた応答の信頼性を確認することにより、高い精度を達成する。 この技術は、運用コストを削減するだけでなく、応答時間も改善し、LLM駆動アプリケーションの効率を向上する。

関連論文リスト

• Fast Inference for Augmented Large Language Models [14.195265302357148]
  Augmented Large Language Models (LLM)は、APIコールを通じて外部データソースを統合することで、スタンドアロンのLLMの機能を強化する。 SJF(Shortest Job First)のような従来のサイズベースのスケジューリングアルゴリズムは、完了時間の最小化にはあまり効果がない。 拡張LLMのための新しいLLM推論フレームワークであるLAMPSを提案する。
  論文  参考訳（メタデータ） (2024-10-23T19:53:30Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• SCALM: Towards Semantic Caching for Automated Chat Services with Large Language Models [15.742472622602557]
  セマンティック分析を重視し,重要なキャッシュエントリやパターンを識別する新しいキャッシュアーキテクチャであるSCALMを提案する。 評価の結果,SCALMはキャッシュヒット率を増大させ,LLMChatサービスの運用コストを低減させることがわかった。
  論文  参考訳（メタデータ） (2024-05-24T08:16:22Z)
• Optimizing LLM Queries in Relational Workloads [58.254894049950366]
  本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。 私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。 実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• MeanCache: User-Centric Semantic Cache for Large Language Model Based Web Services [8.350378532274405]
  キャッシングは、繰り返しクエリの推論コストを削減するための自然なソリューションである。 本稿では,LLMベースのサービスのためのユーザ中心セマンティックキャッシュであるMeanCacheを紹介する。 MeanCacheは、セマンティックに類似したクエリを特定して、キャッシュヒットやミスを判定する。
  論文  参考訳（メタデータ） (2024-03-05T06:23:50Z)
• LLMs for Test Input Generation for Semantic Caches [1.8628177380024746]
  大規模言語モデル(LLM)は、最先端のセマンティック機能をソフトウェアシステムに追加することを可能にする。 規模によっては、何千ものユーザーへのサービス提供コストは、ユーザーエクスペリエンスにも大きく影響します。 本稿では、構造化されていない文書から類似した質問を生成するテスト入力生成にLLMを使用するアプローチであるVaryGenを提案する。
  論文  参考訳（メタデータ） (2024-01-16T06:16:33Z)
• Cache & Distil: Optimising API Calls to Large Language Models [82.32065572907125]
  ジェネレーティブAIツールの大規模デプロイは、ユーザクエリをフルフィルするために、LLM(Large Language Model)に対する高価なAPI呼び出しに依存することが多い。 これらの呼び出しの頻度を縮めるために、より小さな言語モデル(学生)を用いることができる。 この学生は、ユーザー要求の増加に独立して対処する能力が徐々に向上する。
  論文  参考訳（メタデータ） (2023-10-20T15:01:55Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。