論文の概要: Optimizing LLM Queries in Relational Workloads
- arxiv url: http://arxiv.org/abs/2403.05821v1
- Date: Sat, 9 Mar 2024 07:01:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-03-13 12:14:17.365598
- Title: Optimizing LLM Queries in Relational Workloads
- Title（参考訳）: リレーショナルワークロードにおけるLCMクエリの最適化
- Authors: Shu Liu, Asim Biswal, Audrey Cheng, Xiangxi Mo, Shiyi Cao, Joseph E.
Gonzalez, Ion Stoica, Matei Zaharia
- Abstract要約: 本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
- 参考スコア（独自算出の注目度）: 58.254894049950366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Analytical database providers (e.g., Redshift, Databricks, BigQuery) have
rapidly added support for invoking Large Language Models (LLMs) through native
user-defined functions (UDFs) to help users perform natural language tasks,
such as classification, entity extraction, and translation, inside analytical
workloads. For instance, an analyst might want to extract customer sentiments
on millions of product reviews. However, LLM inference is highly expensive in
both computational and economic terms: for example, an NVIDIA L4 GPU running
Llama2-7B can only process 6 KB of text per second. In this paper, we explore
how to optimize LLM inference for analytical workloads that invoke LLMs within
relational queries. We show that relational queries present novel opportunities
for accelerating LLM inference, including reordering rows to maximize key-value
(KV) cache reuse within the LLM inference engine, reordering columns within a
row to further increase cache reuse, and deduplicating redundant inference
requests. We implement these optimizations in Apache Spark, with vLLM as the
model serving backend and achieve up to 4.4x improvement in end-to-end latency
on a benchmark of diverse LLM-based queries on real datasets. To the best of
our knowledge, this is the first work to explicitly address the problem of
optimizing LLM invocations within SQL queries.
- Abstract（参考訳）: 分析データベースプロバイダ(Redshift、Databricks、BigQueryなど)は、分析ワークロード内での分類、エンティティ抽出、翻訳などの自然言語タスクの実行を支援するために、ネイティブユーザ定義関数(UDF)を通じて、LLM(Large Language Models)の呼び出しを迅速にサポートした。
例えば、アナリストは何百万もの製品レビューの顧客感情を抽出したいかもしれない。
例えば、Llama2-7Bで動作するNVIDIA L4 GPUは毎秒6KBのテキストしか処理できない。
本稿では,リレーショナルクエリ内でLLMを呼び出す解析負荷に対して,LLM推論を最適化する方法を検討する。
例えば,LLM推論エンジン内のキー値(KV)キャッシュ再利用を最大化するための行の順序変更,行内の列の順序変更によるキャッシュ再利用の促進,冗長な推論要求の重複化などである。
我々はこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供し、実際のデータセット上の多様なLCMベースのクエリのベンチマークでエンドツーエンドのレイテンシを最大4.4倍改善しました。
私たちの知る限りでは、SQLクエリ内でLLM呼び出しを最適化する問題を明示的に解決する最初の作業です。
関連論文リスト
- Efficient Alignment of Large Language Models via Data Sampling [0.4915744683251149]
本稿では,少数の高品質サブセットを同定し,効率的なアライメントのための情報理論に基づく手法を提案する。
提案手法を用いたモデルでは,他のサンプリング手法よりも優れた性能を示し,全データセットに対応するモデルに匹敵する性能を示した。
論文 参考訳（メタデータ） (2024-11-15T19:36:15Z) - Relational Database Augmented Large Language Model [59.38841050766026]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。
彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。
この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
論文 参考訳（メタデータ） (2024-07-21T06:19:10Z) - AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。
本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
論文 参考訳（メタデータ） (2024-06-17T04:20:02Z) - CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search [67.6104548484555]
我々は,オープンソースの大規模言語モデル(LLM)の機能を活用して,クエリ書き換え前の会話履歴の曖昧さを解消する2段階の手法であるCHIQを紹介する。
我々は、CHIQがほとんどの設定で最先端の結果をもたらす、よく確立された5つのベンチマークを実証する。
論文 参考訳（メタデータ） (2024-06-07T15:23:53Z) - Fine Tuning LLM for Enterprise: Practical Guidelines and Recommendations [2.699900017799093]
我々は、企業リポジトリのプロプライエタリなドキュメントとコードを使用したオープンソースのLLMであるLLaMAの微調整に重点を置いている。
この作業の一環として、私たちは初心者に、ドキュメントやコードのための LLM の微調整から始める方法について、ガイドすることを目指しています。
また、さまざまなフォーマットでデータセットを作成するために、ドキュメンテーションとコードの両方に事前処理のレシピを提案する。
論文 参考訳（メタデータ） (2024-03-23T13:25:01Z) - LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。
LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。
GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
論文 参考訳（メタデータ） (2024-03-22T08:57:07Z) - Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization [7.674972936853123]
我々は,同一の入力コンテキストに対するクエリを1つのプロンプトで組み合わせて,繰り返し呼び出しを最小限に抑える方法が,要約の達成に有効かどうかを検討する。
予測フォーマットでの応答生成における100%の信頼性は、通常、特定のクローズドソース LLM に制限される。
論文 参考訳（メタデータ） (2024-02-29T19:00:47Z) - More Samples or More Prompts? Exploring Effective In-Context Sampling for LLM Few-Shot Prompt Engineering [35.086135550672864]
In-Context Smpling (ICS) を提案し、複数のICLプロンプト入力の構成を最適化し、確実な予測を行う。
3つのデータ類似性に基づくICS戦略による詳細な評価は、これらの戦略がLLMの性能をさらに高める可能性があることを示唆している。
論文 参考訳（メタデータ） (2023-11-16T11:02:49Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。
実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2023-11-14T01:38:02Z) - Data-Centric Financial Large Language Models [27.464319154543173]
大規模言語モデル(LLM)は自然言語のタスクを約束するが、金融のような複雑なドメインに直接適用した場合に苦労する。
我々は、LLMが金融業務をよりうまく扱えるようにするために、データ中心のアプローチを提案する。
論文 参考訳（メタデータ） (2023-10-07T04:53:31Z) - SEED: Domain-Specific Data Curation With Large Language Models [22.54280367957015]
LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。
SEEDは、4つのLCMアシストモジュールから自動的に選択し、そのタスクに最も適したハイブリッド実行パイプラインを形成する。
論文 参考訳（メタデータ） (2023-10-01T17:59:20Z) - Data-Juicer: A One-Stop Data Processing System for Large Language Models [73.27731037450995]
データレシピは、大規模言語モデル(LLM)をトレーニングするための異なるソースからのデータの混合である。
我々はData-Juicerという新しいシステムを構築し、多様なデータレシピを効率的に生成できる。
Data-Juicerから派生したデータレシピは、最先端のLLMで顕著に改善されている。
論文 参考訳（メタデータ） (2023-09-05T08:22:07Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳（メタデータ） (2023-08-25T01:41:04Z) - Large Language Models for Software Engineering: A Systematic Literature Review [34.12458948051519]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)を含む多くの領域に大きな影響を与えている。
我々は、2017年1月から2024年1月までの395件の研究論文を選定、分析し、4つの重要な研究質問(RQ)に答える。
これらのRQに対する回答から、現在の最先端とトレンド、既存の研究のギャップの特定、今後の研究に向けた有望な領域のフラグ付けなどについて論じる。
論文 参考訳（メタデータ） (2023-08-21T10:37:49Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳（メタデータ） (2023-05-23T17:27:50Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳（メタデータ） (2023-04-27T14:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。