論文の概要: Predictive Price-Performance Optimization for Serverless Query Processing

• arxiv url: http://arxiv.org/abs/2112.08572v1
• Date: Thu, 16 Dec 2021 02:23:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 16:24:59.651363
• Title: Predictive Price-Performance Optimization for Serverless Query Processing
• Title（参考訳）: サーバレスクエリ処理のための予測価格パフォーマンス最適化
• Authors: Rathijit Sen, Abhishek Roy, Alekh Jindal
• Abstract要約: 予測資源割り当てのための効率的なパラメトリック・モデリング・フレームワークを提案する。 当社のシステムであるAutoExecutorが、このフレームワークを使って、ほぼ最適な実行子とコア数を自動的に選択する方法について、深く議論し、評価する。
• 参考スコア（独自算出の注目度）: 4.592033251529541
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present an efficient, parametric modeling framework for predictive resource allocations, focusing on the amount of computational resources, that can optimize for a range of price-performance objectives for data analytics in serverless query processing settings. We discuss and evaluate in depth how our system, AutoExecutor, can use this framework to automatically select near-optimal executor and core counts for Spark SQL queries running on Azure Synapse. Our techniques improve upon Spark's in-built, reactive, dynamic executor allocation capabilities by substantially reducing the total executors allocated and executor occupancy while running queries, thereby freeing up executors that can potentially be used by other concurrent queries or in reducing the overall cluster provisioning needs. In contrast with post-execution analysis tools such as Sparklens, we predict resource allocations for queries before executing them and can also account for changes in input data sizes for predicting the desired allocations.
• Abstract（参考訳）: 本稿では、計算資源の量に着目し、サーバーレスクエリ処理設定におけるデータ分析のための様々な価格性能目標を最適化する、予測資源割り当てのための効率的なパラメトリックモデリングフレームワークを提案する。 当社のシステムであるAutoExecutorが,Azure Synapse上で動作するSpark SQLクエリに対して,ほぼ最適なエグゼキュータとコアカウントを自動的に選択する方法について,深く議論し,評価する。 クエリの実行中に割り当てられた総エグゼキュータとエグゼキュータの占有を実質的に削減し、他の並列クエリやクラスタのプロビジョニングニーズの削減が可能なエグゼキュータを解放することで、sparkのインビルト、リアクティブ、動的エグゼキュータ割り当て能力を向上します。 Sparklensのようなポストエグゼクティブ分析ツールとは対照的に、クエリの実行前にリソース割り当てを予測し、必要なアロケーションを予測するために入力データサイズの変更も説明できる。

関連論文リスト

• Optimizing LLM Queries in Relational Workloads [58.254894049950366]
  本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。 私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。 実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• Roq: Robust Query Optimization Based on a Risk-aware Learned Cost Model [3.0784574277021406]
  本稿では,リスク認識型学習アプローチに基づくロバストなクエリ最適化を実現するための包括的フレームワークを提案する。 Roqには、クエリ最適化の文脈におけるロバストネスの概念の新たな形式化が含まれている。 我々は、Roqが最先端技術と比較して堅牢なクエリ最適化に大幅な改善をもたらすことを実験的に実証した。
  論文  参考訳（メタデータ） (2024-01-26T21:16:37Z)
• Sibyl: Forecasting Time-Evolving Query Workloads [9.16115447503004]
  データベースシステムは、しばしば、ワークロードベースのパフォーマンスチューニングを実行するために、過去のクエリトレースに依存する。 実運用ワークロードは、時間的進化であり、将来のワークロードを最適化する上で、過去のクエリを非効率にする。 SIBYLはエンド・ツー・エンドの機械学習ベースのフレームワークで、将来的なクエリの順序を正確に予測する。
  論文  参考訳（メタデータ） (2024-01-08T08:11:32Z)
• Towards General and Efficient Online Tuning for Spark [55.30868031221838]
  本稿では,3つの問題を同時に処理できる汎用的で効率的なSparkチューニングフレームワークを提案する。 我々は、このフレームワークを独立したクラウドサービスとして実装し、Tencentのデータプラットフォームに適用しました。
  論文  参考訳（メタデータ） (2023-09-05T02:16:45Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Enel: Context-Aware Dynamic Scaling of Distributed Dataflow Jobs using Graph Propagation [52.9168275057997]
  本稿では,属性グラフ上でメッセージの伝搬を利用してデータフロージョブをモデル化する,新しい動的スケーリング手法であるEnelを提案する。 Enelが効果的な再スケーリングアクションを識別でき、例えばノードの障害に反応し、異なる実行コンテキストで再利用可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-27T10:21:08Z)
• Optimal Resource Allocation for Serverless Queries [8.59568779761598]
  以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。 本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
  論文  参考訳（メタデータ） (2021-07-19T02:55:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。