論文の概要: Optimizing LLM Queries in Relational Workloads
- arxiv url: http://arxiv.org/abs/2403.05821v1
- Date: Sat, 9 Mar 2024 07:01:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:14:17.365598
- Title: Optimizing LLM Queries in Relational Workloads
- Title（参考訳）: リレーショナルワークロードにおけるLCMクエリの最適化
- Authors: Shu Liu, Asim Biswal, Audrey Cheng, Xiangxi Mo, Shiyi Cao, Joseph E.
Gonzalez, Ion Stoica, Matei Zaharia
- Abstract要約: 本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
- 参考スコア（独自算出の注目度）: 58.254894049950366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Analytical database providers (e.g., Redshift, Databricks, BigQuery) have
rapidly added support for invoking Large Language Models (LLMs) through native
user-defined functions (UDFs) to help users perform natural language tasks,
such as classification, entity extraction, and translation, inside analytical
workloads. For instance, an analyst might want to extract customer sentiments
on millions of product reviews. However, LLM inference is highly expensive in
both computational and economic terms: for example, an NVIDIA L4 GPU running
Llama2-7B can only process 6 KB of text per second. In this paper, we explore
how to optimize LLM inference for analytical workloads that invoke LLMs within
relational queries. We show that relational queries present novel opportunities
for accelerating LLM inference, including reordering rows to maximize key-value
(KV) cache reuse within the LLM inference engine, reordering columns within a
row to further increase cache reuse, and deduplicating redundant inference
requests. We implement these optimizations in Apache Spark, with vLLM as the
model serving backend and achieve up to 4.4x improvement in end-to-end latency
on a benchmark of diverse LLM-based queries on real datasets. To the best of
our knowledge, this is the first work to explicitly address the problem of
optimizing LLM invocations within SQL queries.
- Abstract（参考訳）: 分析データベースプロバイダ(Redshift、Databricks、BigQueryなど)は、分析ワークロード内での分類、エンティティ抽出、翻訳などの自然言語タスクの実行を支援するために、ネイティブユーザ定義関数(UDF)を通じて、LLM(Large Language Models)の呼び出しを迅速にサポートした。
例えば、アナリストは何百万もの製品レビューの顧客感情を抽出したいかもしれない。
例えば、Llama2-7Bで動作するNVIDIA L4 GPUは毎秒6KBのテキストしか処理できない。
本稿では,リレーショナルクエリ内でLLMを呼び出す解析負荷に対して,LLM推論を最適化する方法を検討する。
例えば,LLM推論エンジン内のキー値(KV)キャッシュ再利用を最大化するための行の順序変更,行内の列の順序変更によるキャッシュ再利用の促進,冗長な推論要求の重複化などである。
我々はこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供し、実際のデータセット上の多様なLCMベースのクエリのベンチマークでエンドツーエンドのレイテンシを最大4.4倍改善しました。
私たちの知る限りでは、SQLクエリ内でLLM呼び出しを最適化する問題を明示的に解決する最初の作業です。
関連論文リスト
- Relational Database Augmented Large Language Model [59.38841050766026]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。
彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。
この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
論文 参考訳（メタデータ） (2024-07-21T06:19:10Z) - CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search [67.6104548484555]
我々は,オープンソースの大規模言語モデル(LLM)の機能を活用して,クエリ書き換え前の会話履歴の曖昧さを解消する2段階の手法であるCHIQを紹介する。
我々は、CHIQがほとんどの設定で最先端の結果をもたらす、よく確立された5つのベンチマークを実証する。
論文 参考訳（メタデータ） (2024-06-07T15:23:53Z) - Fine Tuning LLM for Enterprise: Practical Guidelines and Recommendations [2.699900017799093]
我々は、企業リポジトリのプロプライエタリなドキュメントとコードを使用したオープンソースのLLMであるLLaMAの微調整に重点を置いている。
この作業の一環として、私たちは初心者に、ドキュメントやコードのための LLM の微調整から始める方法について、ガイドすることを目指しています。
また、さまざまなフォーマットでデータセットを作成するために、ドキュメンテーションとコードの両方に事前処理のレシピを提案する。
論文 参考訳（メタデータ） (2024-03-23T13:25:01Z) - Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization [7.674972936853123]
我々は,同一の入力コンテキストに対するクエリを1つのプロンプトで組み合わせて,繰り返し呼び出しを最小限に抑える方法が,要約の達成に有効かどうかを検討する。
予測フォーマットでの応答生成における100%の信頼性は、通常、特定のクローズドソース LLM に制限される。
論文 参考訳（メタデータ） (2024-02-29T19:00:47Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。
実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2023-11-14T01:38:02Z) - SEED: Domain-Specific Data Curation With Large Language Models [22.54280367957015]
LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。
SEEDは、4つのLCMアシストモジュールから自動的に選択し、そのタスクに最も適したハイブリッド実行パイプラインを形成する。
論文 参考訳（メタデータ） (2023-10-01T17:59:20Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳（メタデータ） (2023-05-23T17:27:50Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳（メタデータ） (2023-04-27T14:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。