論文の概要: Optimizing LLM Inference for Database Systems: Cost-Aware Scheduling for Concurrent Requests

• arxiv url: http://arxiv.org/abs/2411.07447v3
• Date: Wed, 16 Apr 2025 16:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:33:24.932096
• Title: Optimizing LLM Inference for Database Systems: Cost-Aware Scheduling for Concurrent Requests
• Title（参考訳）: データベースシステムにおけるLLM推論の最適化:並行要求に対するコストアウェアスケジューリング
• Authors: Kyoungmin Kim, Kijae Hong, Caglar Gulcehre, Anastasia Ailamaki,
• Abstract要約: 本稿ではまず,LLM推論の性能を解析し,LLM推論におけるデータ管理の問題に焦点を当てる。 この問題の根底にあるのは、複数の同時推論要求を実行する際に、適切なリソースコストモデルと最適化戦略が欠如していることである。
• 参考スコア（独自算出の注目度）: 8.552242818726347
• License:
• Abstract: LLMs are increasingly used inside database systems and in database applications for better complexity management and decision-making, where LLM inferences require significant GPU costs. LLM inference systems, however, are slow compared to database systems, limiting the expansion of the use of LLMs inside database systems. This paper first analyzes the LLM inference performance and focuses on a data management issue in LLM inference. We reveal that the root of the problem is the lack of an adequate resource cost model and optimization strategy when executing multiple concurrent inference requests. We adapt classic database multi-query optimization techniques by introducing cost models for concurrent inference requests and new scheduling strategies to optimize the use of memory resources by concurrent requests, thereby substantially improving performance.
• Abstract（参考訳）: LLMは、より複雑な管理と意思決定のために、データベースシステムやデータベースアプリケーション内でますます使われている。 しかし、LLM推論システムはデータベースシステムに比べて遅いため、データベースシステム内でのLLMの使用が制限される。 本稿ではまず,LLM推論の性能を解析し,LLM推論におけるデータ管理の問題に焦点を当てる。 この問題の根底にあるのは、複数の同時推論要求を実行する際に、適切なリソースコストモデルと最適化戦略が欠如していることである。 我々は,並列推論要求に対するコストモデルを導入し,並列要求によるメモリリソースの利用を最適化するための新しいスケジューリング戦略を取り入れ,性能を大幅に向上させることにより,古典的なデータベースマルチクエリ最適化手法を適用した。

関連論文リスト

• Inference-Time Computations for LLM Reasoning and Planning: A Benchmark and Insights [49.42133807824413]
  本稿では,大規模言語モデル(LLM)の複雑な課題解決における推論と計画能力について検討する。 近年の推論時間技術の発展は,LLM推論を追加訓練なしで向上させる可能性を示している。 OpenAIのo1モデルは、マルチステップ推論と検証の新たな使用を通じて、有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-02-18T04:11:29Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• PEA: Enhancing LLM Performance on Computational-Reasoning Tasks [21.13926189404758]
  本研究では、計算推論問題と呼ばれる重要な推論タスクのクラスを記述し、解決するための形式的なアプローチを紹介する。 このフレームワークはこれらの問題を述語と列挙の構成要素に分解し、LLMを使って特定の述語、列挙、集約ルールに基づいてプログラムを合成する。 実験的な評価により、PEAはベンチマーク計算問題における基礎となるモデルの性能を大幅に向上し、平均精度が約50%向上し、効率が向上することがわかった。
  論文  参考訳（メタデータ） (2025-02-16T00:27:05Z)
• CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing [56.98081258047281]
  CITERはトークンレベルのルーティング戦略を通じて、小規模および大規模言語モデル(SLMs & LLMs)間の効率的な協調を可能にする。 ルータの学習をポリシー最適化として定式化し、予測の質と生成の推論コストの両方に基づいて報酬を受け取る。 実験の結果,CITERは高品質な生成を保ちながら推論コストを低減し,リアルタイムおよびリソース制約のあるアプリケーションに対して有望なソリューションを提供することがわかった。
  論文  参考訳（メタデータ） (2025-02-04T03:36:44Z)
• Efficiently Serving LLM Reasoning Programs with Certaindex [4.681117143870077]
  Dynasorは、大規模言語モデル(LLM)の推論時間計算を最適化するシステムである。 従来のエンジンとは異なり、Dynasorは推論クエリ内で要求を追跡し、スケジュールする。 バッチ処理で最大50%削減され、クエリレートが3.3倍、オンラインサービスで4.7倍のレイテンシSLOが持続する。
  論文  参考訳（メタデータ） (2024-12-30T14:57:53Z)
• Leveraging Graph-RAG and Prompt Engineering to Enhance LLM-Based Automated Requirement Traceability and Compliance Checks [8.354305051472735]
  本研究は,頑健なグラフ-RAGフレームワークを,思考の連鎖や思考の樹木といった先進的な技術と統合することにより,性能を著しく向上させることを実証する。 さまざまなコンテキストにまたがって実装するのはコストが高く、複雑で、特定のシナリオに慎重に適応する必要がある。
  論文  参考訳（メタデータ） (2024-12-11T18:11:39Z)
• GUIDE: A Global Unified Inference Engine for Deploying Large Language Models in Heterogeneous Environments [1.0558515062670693]
  現実世界のシナリオにおける大規模言語モデル(LLM)は依然として重要な課題である。 これらの課題は、しばしばメモリ使用率、レイテンシ、スループットの非効率につながる。 バッチレイテンシ、TTFT、デコードスループットといった主要なメトリクスに対して、予測エラーを9.9%から42.3%の精度で達成し、これらの問題に対処するフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-12-06T05:46:43Z)
• Unlocking Large Language Model's Planning Capabilities with Maximum Diversity Fine-tuning [10.704716790096498]
  大規模言語モデル(LLM)は、技術やシステム設計の推進によって達成された、目覚ましいタスク解決能力を示している。 本稿では,LLMの計画能力に及ぼす微調整の影響について検討する。 計画領域におけるファインチューニングのサンプル効率を向上させるために,MDFT(Maximum Diversity Fine-Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-15T03:06:14Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Learning Logic Specifications for Policy Guidance in POMDPs: an Inductive Logic Programming Approach [57.788675205519986]
  我々は任意の解法によって生成されるPOMDP実行から高品質なトレースを学習する。 我々は、データと時間効率のIndu Logic Programming(ILP)を利用して、解釈可能な信念に基づくポリシー仕様を生成する。 ASP(Answer Set Programming)で表現された学習は、ニューラルネットワークよりも優れた性能を示し、より少ない計算時間で最適な手作りタスクに類似していることを示す。
  論文  参考訳（メタデータ） (2024-02-29T15:36:01Z)
• Uncertainty-aware Remaining Useful Life predictor [57.74855412811814]
  有効寿命 (Remaining Useful Life, RUL) とは、特定の産業資産の運用期間を推定する問題である。 本研究では,Deep Gaussian Processes (DGPs) を,前述の制限に対する解決策と捉える。 アルゴリズムの性能はNASAの航空機エンジン用N-CMAPSSデータセットで評価される。
  論文  参考訳（メタデータ） (2021-04-08T08:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。