論文の概要: Seagull: An Infrastructure for Load Prediction and Optimized Resource Allocation

• arxiv url: http://arxiv.org/abs/2009.12922v2
• Date: Fri, 16 Oct 2020 19:22:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-14 03:59:57.796549
• Title: Seagull: An Infrastructure for Load Prediction and Optimized Resource Allocation
• Title（参考訳）: Seagull: 負荷予測とリソース割り当て最適化のためのインフラストラクチャ
• Authors: Olga Poppe, Tayo Amuneke, Dalitso Banda, Aritra De, Ari Green, Manon Knoertzer, Ehi Nosakhare, Karthik Rajendran, Deepak Shankargouda, Meina Wang, Alan Au, Carlo Curino, Qun Guo, Alekh Jindal, Ajay Kalhan, Morgan Oslake, Sonia Parchani, Vijay Ramani, Raj Sellappan, Saikat Sen, Sheetal Shrotri, Soundararajan Srinivasan, Ping Xia, Shize Xu, Alicia Yang, Yiwen Zhu
• Abstract要約: Microsoft Azureは、顧客に高品質なサービスを提供することに専心している。 我々は、データサイエンス(DS)駆動のソリューションを使用して、ユーザの負荷を予測し、これらの予測を利用してリソース割り当てを最適化します。 サーバ毎のテレメトリ処理、データ検証、トレーニング、MLモデルのデプロイを行なうSeagullインフラストラクチャを構築しました。
• 参考スコア（独自算出の注目度）: 5.752753066194343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Microsoft Azure is dedicated to guarantee high quality of service to its customers, in particular, during periods of high customer activity, while controlling cost. We employ a Data Science (DS) driven solution to predict user load and leverage these predictions to optimize resource allocation. To this end, we built the Seagull infrastructure that processes per-server telemetry, validates the data, trains and deploys ML models. The models are used to predict customer load per server (24h into the future), and optimize service operations. Seagull continually re-evaluates accuracy of predictions, fallback to previously known good models and triggers alerts as appropriate. We deployed this infrastructure in production for PostgreSQL and MySQL servers across all Azure regions, and applied it to the problem of scheduling server backups during low-load time. This minimizes interference with user-induced load and improves customer experience.
• Abstract（参考訳）: Microsoft Azureは、顧客に対する高品質なサービスの保証、特に高い顧客活動期間におけるコスト管理に重点を置いている。 データサイエンス(ds)駆動のソリューションを使ってユーザの負荷を予測し、これらの予測を利用してリソース割り当てを最適化します。 この目的のために、サーバ単位のテレメトリ処理、データ検証、トレーニング、MLモデルのデプロイを行なうSeagullインフラストラクチャを構築しました。 これらのモデルは、サーバ毎の顧客負荷(将来24時間)の予測とサービスオペレーションの最適化に使用される。 Seagullは、予測の精度を継続的に再評価し、既知の優れたモデルにフォールバックし、適切な警告をトリガーする。 このインフラストラクチャをすべてのazureリージョンにpostgresqlとmysqlサーバ用に本番環境にデプロイし、低負荷時のサーババックアップのスケジューリング問題に適用しました。 これにより、ユーザの負荷に対する干渉を最小限に抑え、顧客エクスペリエンスを向上させる。

関連論文リスト

• PRICE: A Pretrained Model for Cross-Database Cardinality Estimation [78.30959470441442]
  クエリ実行計画の最適化には,カーディナリティ推定(CardEst)が不可欠である。 近年のMLベースのCardEst法は, 製造コストが高いため, 高い精度で展開が困難である。 PRetrained MultI-table CardEstモデルであるPRICEを提案する。
  論文  参考訳（メタデータ） (2024-06-03T06:21:53Z)
• Sibyl: Forecasting Time-Evolving Query Workloads [9.16115447503004]
  データベースシステムは、しばしば、ワークロードベースのパフォーマンスチューニングを実行するために、過去のクエリトレースに依存する。 実運用ワークロードは、時間的進化であり、将来のワークロードを最適化する上で、過去のクエリを非効率にする。 SIBYLはエンド・ツー・エンドの機械学習ベースのフレームワークで、将来的なクエリの順序を正確に予測する。
  論文  参考訳（メタデータ） (2024-01-08T08:11:32Z)
• SpotServe: Serving Generative Large Language Models on Preemptible Instances [64.18638174004151]
  SpotServeは、プリエンプティブルインスタンスにシステムを提供する最初の分散大規模言語モデルである。 SpotServeは、既存のLLMサービスシステムと比較して、P99テールのレイテンシを2.4～9.1倍削減できることを示す。 また、SpotServeはプリエンプティブインスタンスの価格優位性を利用して、オンデマンドインスタンスのみを使用する場合と比較して54%の金銭的コストを節約できることも示しています。
  論文  参考訳（メタデータ） (2023-11-27T06:31:17Z)
• Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models [62.838689691468666]
  我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。 大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
  論文  参考訳（メタデータ） (2023-10-04T19:30:49Z)
• Acela: Predictable Datacenter-level Maintenance Job Scheduling [27.990173338574138]
  本稿では,維持作業期間を予測する機械学習システムであるAcelaを紹介する。 Acela はオフラインのサーバ数を 1.87-4.28X に減らし,サーバのオフライン時間を 1.40-2.80X に減らした。
  論文  参考訳（メタデータ） (2022-12-10T00:22:49Z)
• Federated Continual Learning through distillation in pervasive computing [0.2519906683279153]
  フェデレートラーニングは、ローカルデバイスの使用を促進する新しい機械学習パラダイムとして導入された。 現在のソリューションは、サーバが送信したモデルを微調整するために、クライアント側で大量のデータを保存することに依存しています。 この提案はHAR(Human Activity Recognition)領域で評価されており、破滅的な忘れ込み効果を効果的に減少させることが示されている。
  論文  参考訳（メタデータ） (2022-07-17T13:55:20Z)
• Performance Modeling of Metric-Based Serverless Computing Platforms [5.089110111757978]
  提案されたパフォーマンスモデルは、開発者とプロバイダが異なる構成でデプロイメントのパフォーマンスとコストを予測するのに役立つ。 Knative上での実環境実験を行うことで,提案した性能モデルの適用性と精度を検証した。
  論文  参考訳（メタデータ） (2022-02-23T00:39:01Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Timely Communication in Federated Learning [65.1253801733098]
  我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。 提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。 各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:52:08Z)
• A Predictive Autoscaler for Elastic Batch Jobs [8.354712625979776]
  Deep Learning、HPC、Sparkといった大規模なバッチジョブは、従来のオンラインサービスよりもはるかに多くの計算リソースとコストを必要とします。 顧客とオーバプロビジョンインスタンスに対して,柔軟なインターフェースを提供するための予測オートスケーラを提案する。
  論文  参考訳（メタデータ） (2020-10-10T17:35:55Z)
• Unsupervised Model Personalization while Preserving Privacy and Scalability: An Open Problem [55.21502268698577]
  本研究では,非教師なしモデルパーソナライゼーションの課題について検討する。 この問題を探求するための新しいDual User-Adaptation Framework(DUA)を提供する。 このフレームワークは、サーバ上のモデルパーソナライズとユーザデバイス上のローカルデータ正規化に柔軟にユーザ適応を分散させる。
  論文  参考訳（メタデータ） (2020-03-30T09:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。