論文の概要: Optimizing LLM Queries in Relational Data Analytics Workloads

• arxiv url: http://arxiv.org/abs/2403.05821v2
• Date: Wed, 09 Apr 2025 10:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 02:55:39.963743
• Title: Optimizing LLM Queries in Relational Data Analytics Workloads
• Title（参考訳）: リレーショナルデータ分析ワークロードにおけるLLMクエリの最適化
• Authors: Shu Liu, Asim Biswal, Amog Kamsetty, Audrey Cheng, Luis Gaspar Schroeder, Liana Patel, Shiyi Cao, Xiangxi Mo, Ion Stoica, Joseph E. Gonzalez, Matei Zaharia,
• Abstract要約: バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。 本稿では,LLMコールによるリレーショナルデータ解析処理のコストを大幅に削減できる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 50.95919232839785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch data analytics is a growing application for Large Language Models (LLMs). LLMs enable users to perform a wide range of natural language tasks, such as classification, entity extraction, and translation, over large datasets. However, LLM inference is highly costly and slow: for example, an NVIDIA L4 GPU running Llama3-8B can only process 6 KB of text per second, taking about a day to handle 15 GB of data; processing a similar amount of data costs around $10K on OpenAI's GPT-4o. In this paper, we propose novel techniques that can significantly reduce the cost of LLM calls for relational data analytics workloads. Our key contribution is developing efficient algorithms for reordering the rows and the fields within each row of an input table to maximize key-value (KV) cache reuse when performing LLM serving. As such, our approach can be easily applied to existing analytics systems and serving platforms. Our evaluation shows that our solution can yield up to 3.4x improvement in job completion time on a benchmark of diverse LLM-based queries using Llama 3 models. Our solution also achieves a 32% cost savings under OpenAI and Anthropic pricing models.
• Abstract（参考訳）: バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである。 LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。 例えば、Llama3-8Bを実行しているNVIDIA L4 GPUは、毎秒6KBのテキストしか処理できず、15GBのデータを処理するのに約1日かかる。 本稿では,リレーショナルデータ解析処理におけるLCMコールのコストを大幅に削減できる新しい手法を提案する。 我々の重要な貢献は、LLMサービスの実行時にキー値(KV)キャッシュの再利用を最大化するために、入力テーブルの各行内の行とフィールドを並べ替える効率的なアルゴリズムを開発することである。 これにより,既存の分析システムやサービスプラットフォームに容易にアプローチを適用することができる。 評価の結果,Llama 3 モデルを用いた多様な LLM ベースのクエリのベンチマークでは,作業完了時間の最大 3.4 倍の改善が期待できることがわかった。 当社のソリューションは,OpenAI と Anthropic の価格モデルの下でも,32% のコスト削減を実現しています。

関連論文リスト

• Efficient Alignment of Large Language Models via Data Sampling [0.4915744683251149]
  本稿では,少数の高品質サブセットを同定し,効率的なアライメントのための情報理論に基づく手法を提案する。 提案手法を用いたモデルでは,他のサンプリング手法よりも優れた性能を示し,全データセットに対応するモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-11-15T19:36:15Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search [67.6104548484555]
  我々は,オープンソースの大規模言語モデル(LLM)の機能を活用して,クエリ書き換え前の会話履歴の曖昧さを解消する2段階の手法であるCHIQを紹介する。 我々は、CHIQがほとんどの設定で最先端の結果をもたらす、よく確立された5つのベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-06-07T15:23:53Z)
• Fine Tuning LLM for Enterprise: Practical Guidelines and Recommendations [2.699900017799093]
  我々は、企業リポジトリのプロプライエタリなドキュメントとコードを使用したオープンソースのLLMであるLLaMAの微調整に重点を置いている。 この作業の一環として、私たちは初心者に、ドキュメントやコードのための LLM の微調整から始める方法について、ガイドすることを目指しています。 また、さまざまなフォーマットでデータセットを作成するために、ドキュメンテーションとコードの両方に事前処理のレシピを提案する。
  論文  参考訳（メタデータ） (2024-03-23T13:25:01Z)
• LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
  事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
  論文  参考訳（メタデータ） (2024-03-22T08:57:07Z)
• Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization [7.674972936853123]
  我々は,同一の入力コンテキストに対するクエリを1つのプロンプトで組み合わせて,繰り返し呼び出しを最小限に抑える方法が,要約の達成に有効かどうかを検討する。 予測フォーマットでの応答生成における100%の信頼性は、通常、特定のクローズドソース LLM に制限される。
  論文  参考訳（メタデータ） (2024-02-29T19:00:47Z)
• More Samples or More Prompts? Exploring Effective In-Context Sampling for LLM Few-Shot Prompt Engineering [35.086135550672864]
  In-Context Smpling (ICS) を提案し、複数のICLプロンプト入力の構成を最適化し、確実な予測を行う。 3つのデータ類似性に基づくICS戦略による詳細な評価は、これらの戦略がLLMの性能をさらに高める可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-16T11:02:49Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Data-Centric Financial Large Language Models [27.464319154543173]
  大規模言語モデル(LLM)は自然言語のタスクを約束するが、金融のような複雑なドメインに直接適用した場合に苦労する。 我々は、LLMが金融業務をよりうまく扱えるようにするために、データ中心のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-07T04:53:31Z)
• SEED: Domain-Specific Data Curation With Large Language Models [22.54280367957015]
  LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。 SEEDは、4つのLCMアシストモジュールから自動的に選択し、そのタスクに最も適したハイブリッド実行パイプラインを形成する。
  論文  参考訳（メタデータ） (2023-10-01T17:59:20Z)
• Data-Juicer: A One-Stop Data Processing System for Large Language Models [73.27731037450995]
  データレシピは、大規模言語モデル(LLM)をトレーニングするための異なるソースからのデータの混合である。 我々はData-Juicerという新しいシステムを構築し、多様なデータレシピを効率的に生成できる。 Data-Juicerから派生したデータレシピは、最先端のLLMで顕著に改善されている。
  論文  参考訳（メタデータ） (2023-09-05T08:22:07Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• Large Language Models for Software Engineering: A Systematic Literature Review [34.12458948051519]
  大規模言語モデル(LLM)は、ソフトウェア工学(SE)を含む多くの領域に大きな影響を与えている。 我々は、2017年1月から2024年1月までの395件の研究論文を選定、分析し、4つの重要な研究質問(RQ)に答える。 これらのRQに対する回答から、現在の最先端とトレンド、既存の研究のギャップの特定、今後の研究に向けた有望な領域のフラグ付けなどについて論じる。
  論文  参考訳（メタデータ） (2023-08-21T10:37:49Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。