論文の概要: Wasserstein Adversarial Transformer for Cloud Workload Prediction
- arxiv url: http://arxiv.org/abs/2203.06501v1
- Date: Sat, 12 Mar 2022 18:58:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-19 17:52:50.247339
- Title: Wasserstein Adversarial Transformer for Cloud Workload Prediction
- Title（参考訳）: クラウドワークロード予測のためのWasserstein Adversarial Transformer
- Authors: Shivani Arbat, Vinodh Kumaran Jayakumar, Jaewoo Lee, Wei Wang, In Kee
Kim
- Abstract要約: この研究は、TransformerネットワークにインスパイアされたWGAN-gp Transformerと呼ばれる新しい時系列予測モデルを示し、Wasserstein-GANを改良した。
提案手法では,トランスフォーマーネットワークをジェネレータとして,マルチ層パーセプトロンを批判として採用する。
We show WGAN-gp Transformer achieve a 5 more inference time with up 5.1% higher prediction accuracy against the State-of-the-art approach。
- 参考スコア（独自算出の注目度）: 5.4168067277885825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive Virtual Machine (VM) auto-scaling is a promising technique to
optimize cloud applications operating costs and performance. Understanding the
job arrival rate is crucial for accurately predicting future changes in cloud
workloads and proactively provisioning and de-provisioning VMs for hosting the
applications. However, developing a model that accurately predicts cloud
workload changes is extremely challenging due to the dynamic nature of cloud
workloads. Long-Short-Term-Memory (LSTM) models have been developed for cloud
workload prediction. Unfortunately, the state-of-the-art LSTM model leverages
recurrences to predict, which naturally adds complexity and increases the
inference overhead as input sequences grow longer. To develop a cloud workload
prediction model with high accuracy and low inference overhead, this work
presents a novel time-series forecasting model called WGAN-gp Transformer,
inspired by the Transformer network and improved Wasserstein-GANs. The proposed
method adopts a Transformer network as a generator and a multi-layer perceptron
as a critic. The extensive evaluations with real-world workload traces show
WGAN-gp Transformer achieves 5 times faster inference time with up to 5.1
percent higher prediction accuracy against the state-of-the-art approach. We
also apply WGAN-gp Transformer to auto-scaling mechanisms on Google cloud
platforms, and the WGAN-gp Transformer-based auto-scaling mechanism outperforms
the LSTM-based mechanism by significantly reducing VM over-provisioning and
under-provisioning rates.
- Abstract（参考訳）: Predictive Virtual Machine(VM)自動スケーリングは、クラウドアプリケーションの運用コストとパフォーマンスを最適化する有望なテクニックである。
ジョブの到着率を理解することは、クラウドワークロードの将来的な変更を正確に予測し、アプリケーションをホストするVMを積極的にプロビジョニングし、非プロビジョニングするために重要です。
しかし、クラウドワークロードの動的性質のため、クラウドワークロードの変化を正確に予測するモデルの開発は非常に難しい。
クラウドワークロード予測のためのLong-Short-Term-Memory(LSTM)モデルが開発されている。
残念なことに、最先端のLSTMモデルはリカレンスを利用して予測するので、複雑さが自然に増加し、入力シーケンスが長くなるにつれて推論オーバーヘッドが増加する。
クラウドワークロード予測モデルを高精度かつ低推論オーバーヘッドで開発するために,TransformerネットワークにインスパイアされたWGAN-gp Transformerと呼ばれる新しい時系列予測モデルを提案し,Wasserstein-GANを改善した。
提案手法では,トランスフォーマーネットワークをジェネレータとして,マルチ層パーセプトロンを批判として採用する。
WGAN-gp Transformerの実際のワークロードトレースによる広範な評価は、最先端のアプローチに対する予測精度を最大5.1%向上する5倍高速な推論時間を達成していることを示している。
また、google cloudプラットフォームのオートスケーリング機構にwgan-gp transformerを適用し、wgan-gp transformerベースのオートスケーリングメカニズムは、vmのオーバープロビジョンとオーバープロビジョンレートを大幅に削減することで、lstmベースのメカニズムを上回る。
関連論文リスト
- PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - Robust Load Prediction of Power Network Clusters Based on Cloud-Model-Improved Transformer [3.8801337536879505]
負荷予測の主要な方法であるTransformerモデルは、天気、イベント、フェスティバル、データのボラティリティといった変数による履歴データモデリングの課題に直面している。
これを解決するために、クラウドモデルのファジィ機能を使用して不確実性を効果的に管理する。
Cloud Model Improved Transformer (CMIT) 法は、Transformer モデルと、粒子群最適化アルゴリズムを利用したクラウドモデルを統合する。
論文 参考訳（メタデータ） (2024-07-30T13:32:26Z) - Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。
実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。
Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文 参考訳（メタデータ） (2024-07-28T19:18:59Z) - Extreme Precipitation Nowcasting using Transformer-based Generative
Models [9.497627628556875]
本稿では,Transformer ベースの生成モデル,すなわち NowcastingGPT with Extreme Value Loss (EVL) regularization を用いることにより,極端降水量減少に対する革新的なアプローチを提案する。
固定された極端表現を仮定せずにEVLを計算するための新しい手法を導入し、極端気象事象を捉える際の現在のモデルの限界に対処する。
本稿では, 降水量の定性的および定量的な分析を行い, 正確な降水予測を生成する上で, 提案した NowcastingGPT-EVL の優れた性能を示す。
論文 参考訳（メタデータ） (2024-03-06T18:39:41Z) - Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。
CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
論文 参考訳（メタデータ） (2024-02-27T08:47:19Z) - Adaptive Point Transformer [88.28498667506165]
Adaptive Point Cloud Transformer (AdaPT) は、適応トークン選択機構によって強化された標準PTモデルである。
AdaPTは推論中のトークン数を動的に削減し、大きな点雲の効率的な処理を可能にする。
論文 参考訳（メタデータ） (2024-01-26T13:24:45Z) - OptScaler: A Hybrid Proactive-Reactive Framework for Robust Autoscaling
in the Cloud [11.340252931723063]
オートスケーリングはクラウドコンピューティングにおいて重要なメカニズムであり、動的ワークロード下でのコンピューティングリソースの自律的な調整をサポートする。
既存のアクティブ自動スケーリングメソッドは将来のワークロードを予測し、事前にリソースをスケールしますが、リアクティブメソッドはリアルタイムシステムフィードバックに依存します。
本稿では,CPU利用制御のためのプロアクティブ手法とリアクティブ手法の両方のパワーを統合するハイブリッド自動スケーリングフレームワークであるOpsScalerを提案する。
論文 参考訳（メタデータ） (2023-10-26T04:38:48Z) - Differential Evolution Algorithm based Hyper-Parameters Selection of
Transformer Neural Network Model for Load Forecasting [0.0]
トランスフォーマーモデルは、そのアテンションメカニズムから派生した長距離依存を学習できるため、ロード予測を改善する可能性がある。
我々の研究は,平均二乗誤差 (MSE) や平均絶対パーセンテージ誤差 (MAPE) といった数値に基づく負荷予測において,異なるメタヒューリスティックアルゴリズムと統合されたトランスフォーマーベースニューラルネットワークモデルを比較した。
論文 参考訳（メタデータ） (2023-07-28T04:29:53Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - Cloud-Device Collaborative Adaptation to Continual Changing Environments
in the Real-world [20.547119604004774]
本稿では,クラウドとデバイス間の協調を促進するクラウドデバイス協調型継続的適応の新たな学習パラダイムを提案する。
また、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送するための教師学生モデルとして、不確実性に基づくVisual Prompt Adapted (U-VPA)を提案する。
提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。
論文 参考訳（メタデータ） (2022-12-02T05:02:36Z) - MetaNetwork: A Task-agnostic Network Parameters Generation Framework for
Improving Device Model Generalization [65.02542875281233]
そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。
MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。
MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
論文 参考訳（メタデータ） (2022-09-12T13:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。