論文の概要: Sibyl: Forecasting Time-Evolving Query Workloads

• arxiv url: http://arxiv.org/abs/2401.03723v1
• Date: Mon, 8 Jan 2024 08:11:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 17:27:19.840845
• Title: Sibyl: Forecasting Time-Evolving Query Workloads
• Title（参考訳）: Sibyl: 時間進化型クエリワークロードの予測
• Authors: Hanxian Huang, Tarique Siddiqui, Rana Alotaibi, Carlo Curino, Jyoti Leeka, Alekh Jindal, Jishen Zhao, Jesus Camacho-Rodriguez, Yuanyuan Tian
• Abstract要約: データベースシステムは、しばしば、ワークロードベースのパフォーマンスチューニングを実行するために、過去のクエリトレースに依存する。 実運用ワークロードは、時間的進化であり、将来のワークロードを最適化する上で、過去のクエリを非効率にする。 SIBYLはエンド・ツー・エンドの機械学習ベースのフレームワークで、将来的なクエリの順序を正確に予測する。
• 参考スコア（独自算出の注目度）: 9.16115447503004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Database systems often rely on historical query traces to perform workload-based performance tuning. However, real production workloads are time-evolving, making historical queries ineffective for optimizing future workloads. To address this challenge, we propose SIBYL, an end-to-end machine learning-based framework that accurately forecasts a sequence of future queries, with the entire query statements, in various prediction windows. Drawing insights from real-workloads, we propose template-based featurization techniques and develop a stacked-LSTM with an encoder-decoder architecture for accurate forecasting of query workloads. We also develop techniques to improve forecasting accuracy over large prediction windows and achieve high scalability over large workloads with high variability in arrival rates of queries. Finally, we propose techniques to handle workload drifts. Our evaluation on four real workloads demonstrates that SIBYL can forecast workloads with an $87.3\%$ median F1 score, and can result in $1.7\times$ and $1.3\times$ performance improvement when applied to materialized view selection and index selection applications, respectively.
• Abstract（参考訳）: データベースシステムは、しばしばワークロードベースのパフォーマンスチューニングを実行するために、過去のクエリトレースに依存する。 しかし、実際の運用ワークロードは時間的進化であり、将来のワークロードの最適化には過去のクエリが有効ではない。 この課題に対処するために、様々な予測ウィンドウにおいて、クエリ文全体のシーケンスを正確に予測するエンド・ツー・エンドの機械学習ベースのフレームワークであるSIBYLを提案する。 実作業負荷からの洞察を抽出し,テンプレートベースの成果化手法を提案し,クエリ処理の正確な予測を行うエンコーダ・デコーダアーキテクチャを用いた積み重ねLSTMを開発した。 また,大規模な予測ウィンドウ上での予測精度の向上や,クエリの到着率のばらつきが高い大規模ワークロードでのスケーラビリティ向上も実現している。 最後に,ワークロードのドリフトを処理する手法を提案する。 4つの実ワークロードに対する我々の評価は、SIBYLが中央値のF1スコア8.7.3\%でワークロードを予測でき、1.7\times$と1.3\times$のパフォーマンス改善を、それぞれ実体化されたビュー選択とインデックス選択アプリケーションに適用できることを示している。

関連論文リスト

• F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
  本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。 タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。 従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
  論文  参考訳（メタデータ） (2024-06-23T21:28:50Z)
• AvaTaR: Optimizing LLM Agents for Tool-Assisted Knowledge Retrieval [93.96463520716759]
  大言語モデル(LLM)エージェントは、外部のツールや知識を活用して精度を高め、幻覚を減らすという印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供するツールを効果的に利用し、与えられたタスク/ドメインの性能を向上させる新しいフレームワークであるAvaTaRを紹介する。 AvaTaRは、4つの課題にまたがる最先端のアプローチを一貫して上回り、新規事例に適用した場合に強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• PePNet: A Periodicity-Perceived Workload Prediction Network Supporting Rare Occurrence of Heavy Workload [11.93843096959306]
  クラウドサーバのワークロードは非常に可変的であり、時には重いワークロードがバーストする。 ワークロード予測には統計手法とニューラルネットベースの方法の2つのカテゴリがある。 本稿では,特に負荷予測の精度を向上させるため,PePNetを提案する。
  論文  参考訳（メタデータ） (2023-07-11T07:56:27Z)
• Improving Text Matching in E-Commerce Search with A Rationalizable, Intervenable and Fast Entity-Based Relevance Model [78.80174696043021]
  エンティティベース関連モデル(EBRM)と呼ばれる新しいモデルを提案する。 この分解により、高精度にクロスエンコーダQE関連モジュールを使用できる。 また、ユーザログから自動生成されたQEデータによるQEモジュールの事前トレーニングにより、全体的なパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-07-01T15:44:53Z)
• Kepler: Robust Learning for Faster Parametric Query Optimization [5.6119420695093245]
  パラメトリッククエリ最適化のためのエンドツーエンドの学習ベースアプローチを提案する。 Keplerは、複数のデータセット上でのクエリランタイムの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-06-11T22:39:28Z)
• BitE : Accelerating Learned Query Optimization in a Mixed-Workload Environment [0.36700088931938835]
  BitEは、データベース統計とメタデータを使用して、学習したクエリをチューニングしてパフォーマンスを向上させる、新しいアンサンブル学習モデルである。 我々のモデルは従来の手法に比べて19.6%改善されたクエリと15.8%改善されたクエリを実現している。
  論文  参考訳（メタデータ） (2023-06-01T16:05:33Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)
• Database Workload Characterization with Query Plan Encoders [32.941042348628606]
  本稿では,クエリプランから重要な特徴とその相関関係を学習するクエリプランエンコーダを提案する。 事前学習したエンコーダは,クエリのエム構造とエム計算性能を独立にキャプチャする。
  論文  参考訳（メタデータ） (2021-05-26T01:17:27Z)
• FES: A Fast Efficient Scalable QoS Prediction Framework [0.9176056742068814]
  予測アルゴリズムを設計する主な目的の1つは、十分な予測精度を達成することです。 アルゴリズムは、リアルタイムのレコメンデーションシステムに統合できるように、予測時間の観点からより高速でなければなりません。 既存の予測アルゴリズムは、他のアルゴリズムを確実にしながら、ある目標に対して妥協することが多い。
  論文  参考訳（メタデータ） (2021-03-12T19:28:17Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。