論文の概要: A Predictive Autoscaler for Elastic Batch Jobs

• arxiv url: http://arxiv.org/abs/2010.05049v1
• Date: Sat, 10 Oct 2020 17:35:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 23:30:49.443406
• Title: A Predictive Autoscaler for Elastic Batch Jobs
• Title（参考訳）: 弾性バッチジョブのための予測オートスケーラ
• Authors: Peng Gao
• Abstract要約: Deep Learning、HPC、Sparkといった大規模なバッチジョブは、従来のオンラインサービスよりもはるかに多くの計算リソースとコストを必要とします。 顧客とオーバプロビジョンインスタンスに対して,柔軟なインターフェースを提供するための予測オートスケーラを提案する。
• 参考スコア（独自算出の注目度）: 8.354712625979776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large batch jobs such as Deep Learning, HPC and Spark require far more computational resources and higher cost than conventional online service. Like the processing of other time series data, these jobs possess a variety of characteristics such as trend, burst, and seasonality. Cloud providers offer short-term instances to achieve scalability, stability, and cost-efficiency. Given the time lag caused by joining into the cluster and initialization, crowded workloads may lead to a violation in the scheduling system. Based on the assumption that there are infinite resources and ideal placements available for users to require in the cloud environment, we propose a predictive autoscaler to provide an elastic interface for the customers and overprovision instances based on the trained regression model. We contribute to a method to embed heterogeneous resource requirements in continuous space into discrete resource buckets and an autoscaler to do predictive expand plans on the time series of resource bucket counts. Our experimental evaluation of the production resources usage data validates the solution and the results show that the predictive autoscaler relieves the burden of making scaling plans, avoids long launching time at lower cost and outperforms other prediction methods with fine-tuned settings.
• Abstract（参考訳）: Deep Learning、HPC、Sparkといった大規模なバッチジョブは、従来のオンラインサービスよりもはるかに多くの計算リソースとコストを必要とします。 他の時系列データの処理と同様に、これらのジョブはトレンド、バースト、季節といった様々な特徴を持っている。 クラウドプロバイダは、スケーラビリティ、安定性、コスト効率を達成するための短期インスタンスを提供する。 クラスタへの参加と初期化による時間ラグを考えると、複雑なワークロードはスケジューリングシステムに違反する可能性がある。 クラウド環境にユーザが必要とする無限のリソースと理想的な配置が存在するという仮定に基づいて、顧客は柔軟なインターフェースを提供し、トレーニングされた回帰モデルに基づいてインスタンスをオーバープロビジョンする予測オートスケーラを提案する。 本研究では, 連続空間における異種資源要求を離散的な資源バケットに埋め込む手法と, リソースバケット数時系列の予測拡張計画を行うオートスケーラに寄与する。 生産資源利用データの実験的評価により, 予測オートスケーラは, スケーリング計画作成の負担を軽減し, 低コストで長時間の起動を回避し, 微調整された設定で他の予測手法より優れていることを示す。

関連論文リスト

• Advancing Enterprise Spatio-Temporal Forecasting Applications: Data Mining Meets Instruction Tuning of Language Models For Multi-modal Time Series Analysis in Low-Resource Settings [0.0]
  パティオ時間予測は輸送、物流、サプライチェーン管理において重要である。 本稿では,従来の予測手法の強みと小言語モデルの命令チューニングを融合した動的マルチモーダル手法を提案する。 我々のフレームワークは、推論速度とデータプライバシ/セキュリティを維持しながら、計算とメモリの要求を低減したオンプレミスのカスタマイズを可能にする。
  論文  参考訳（メタデータ） (2024-08-24T16:32:58Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• OptScaler: A Hybrid Proactive-Reactive Framework for Robust Autoscaling in the Cloud [11.340252931723063]
  オートスケーリングはクラウドコンピューティングにおいて重要なメカニズムであり、動的ワークロード下でのコンピューティングリソースの自律的な調整をサポートする。 既存のアクティブ自動スケーリングメソッドは将来のワークロードを予測し、事前にリソースをスケールしますが、リアクティブメソッドはリアルタイムシステムフィードバックに依存します。 本稿では,CPU利用制御のためのプロアクティブ手法とリアクティブ手法の両方のパワーを統合するハイブリッド自動スケーリングフレームワークであるOpsScalerを提案する。
  論文  参考訳（メタデータ） (2023-10-26T04:38:48Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
  我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。 限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
  論文  参考訳（メタデータ） (2023-05-02T07:41:16Z)
• Augmented Bilinear Network for Incremental Multi-Stock Time-Series Classification [83.23129279407271]
  本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。 本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。 この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
  論文  参考訳（メタデータ） (2022-07-23T18:54:10Z)
• A Meta Reinforcement Learning Approach for Predictive Autoscaling in the Cloud [10.970391043991363]
  本稿では,CPU利用の安定レベルを維持するために資源を最適に割り当てることを目的とした,エンドツーエンドのメタモデルに基づくRLアルゴリズムを提案する。 当社のアルゴリズムは,スケーリング戦略の予測可能性と精度を確保するだけでなく,スケーリング決定が変化するワークロードに高いサンプル効率で適応できるようにする。
  論文  参考訳（メタデータ） (2022-05-31T13:54:04Z)
• Approaching sales forecasting using recurrent neural networks and transformers [57.43518732385863]
  深層学習技術を用いて,日・店・店レベルでの顧客販売予測問題に対処する3つの方法を開発した。 実験結果から,データ前処理を最小限に抑えた単純なシーケンスアーキテクチャを用いて,優れた性能を実現することができることを示す。 提案した解は約0.54の RMSLE を達成し、Kaggle コンペティションで提案された問題に対する他のより具体的な解と競合する。
  論文  参考訳（メタデータ） (2022-04-16T12:03:52Z)
• Predictive Auto-scaling with OpenStack Monasca [8.631793985356286]
  近日中にシステムが進化すると予想される状況に基づいて,クラウドサービスを自動スケーリングするアーキテクチャを提案する。 私たちは、Monascaが提供するモニタリング機能に依存し、拡張するオープンソースコンポーネントとして、私たちのアプローチをプロトタイプにしました。
  論文  参考訳（メタデータ） (2021-11-03T11:02:08Z)
• Optimal Resource Allocation for Serverless Queries [8.59568779761598]
  以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。 本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
  論文  参考訳（メタデータ） (2021-07-19T02:55:48Z)
• Pollux: Co-adaptive Cluster Scheduling for Goodput-Optimized Deep Learning [61.29990368322931]
  Polluxは、相互依存要因を適応的に最適化することで、ディープラーニング(DL)クラスタのスケジューリング性能を改善する。 Polluxは、最先端のDLスケジューラと比較して、平均的なジョブ完了時間を37-50%削減する。
  論文  参考訳（メタデータ） (2020-08-27T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。