論文の概要: Continual Learning in Predictive Autoscaling
- arxiv url: http://arxiv.org/abs/2307.15941v2
- Date: Mon, 14 Aug 2023 07:15:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 19:02:40.181910
- Title: Continual Learning in Predictive Autoscaling
- Title（参考訳）: 予測オートスケーリングにおける連続学習
- Authors: Hongyan Hao, Zhixuan Chu, Shiyi Zhu, Gangwei Jiang, Yan Wang, Caigao
Jiang, James Zhang, Wei Jiang, Siqiao Xue, Jun Zhou
- Abstract要約: 予測オートスケーリングは、動的クラウド環境におけるサービスレベルの目標(SLO)を保証するために、サーバのワークロードを予測し、事前にリソースを準備するために使用される。
本稿では,リプレイに基づく連続学習手法,すなわち密度ベースのメモリ選択とHintベースのネットワーク学習モデルを提案する。
提案手法は、メモリ容量と予測精度の観点から、最先端の連続学習法より優れている。
- 参考スコア（独自算出の注目度）: 17.438074717702726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive Autoscaling is used to forecast the workloads of servers and
prepare the resources in advance to ensure service level objectives (SLOs) in
dynamic cloud environments. However, in practice, its prediction task often
suffers from performance degradation under abnormal traffics caused by external
events (such as sales promotional activities and applications
re-configurations), for which a common solution is to re-train the model with
data of a long historical period, but at the expense of high computational and
storage costs. To better address this problem, we propose a replay-based
continual learning method, i.e., Density-based Memory Selection and Hint-based
Network Learning Model (DMSHM), using only a small part of the historical log
to achieve accurate predictions. First, we discover the phenomenon of sample
overlap when applying replay-based continual learning in prediction tasks. In
order to surmount this challenge and effectively integrate new sample
distribution, we propose a density-based sample selection strategy that
utilizes kernel density estimation to calculate sample density as a reference
to compute sample weight, and employs weight sampling to construct a new memory
set. Then we implement hint-based network learning based on hint representation
to optimize the parameters. Finally, we conduct experiments on public and
industrial datasets to demonstrate that our proposed method outperforms
state-of-the-art continual learning methods in terms of memory capacity and
prediction accuracy. Furthermore, we demonstrate remarkable practicability of
DMSHM in real industrial applications.
- Abstract（参考訳）: 予測オートスケーリングは、動的クラウド環境におけるサービスレベルの目標(SLO)を保証するために、サーバのワークロードを予測し、事前にリソースを準備します。
しかし、実際には、その予測タスクは外部イベント(販売促進活動やアプリケーション再設定など)による異常なトラフィックによるパフォーマンス劣化に悩まされることが多い。
そこで本研究では,履歴ログのごく一部のみを用いて,密度に基づくメモリ選択とHintベースのネットワーク学習モデル(DMSHM)を再現した連続学習手法を提案する。
まず,リプレイに基づく連続学習を予測タスクに適用する場合に,サンプル重複現象を発見する。
この課題を克服し,新しいサンプル分布を効果的に統合するために,カーネル密度推定を用いてサンプル密度を計算し,新しいメモリセットを構築するために重みサンプリングを用いる密度ベースサンプル選択戦略を提案する。
次に,ヒント表現に基づくヒントベースのネットワーク学習を実装し,パラメータを最適化する。
最後に,提案手法がメモリ容量と予測精度の点で最先端の連続学習法より優れていることを示すために,公立および産業用データセットの実験を行った。
さらに,実産業応用におけるDMSHMの顕著な実践性を示した。
関連論文リスト
- Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。
我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。
我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
論文 参考訳（メタデータ） (2024-10-11T04:57:48Z) - Few-Shot Load Forecasting Under Data Scarcity in Smart Grids: A Meta-Learning Approach [0.18641315013048293]
本稿では,短期負荷予測のためのモデルに依存しないメタ学習アルゴリズムを提案する。
提案手法は,任意の長さの未知の負荷時間列に迅速に適応し,一般化することができる。
提案手法は,実世界の消費者の歴史的負荷消費データのデータセットを用いて評価する。
論文 参考訳（メタデータ） (2024-06-09T18:59:08Z) - Federated Continual Learning Goes Online: Uncertainty-Aware Memory Management for Vision Tasks and Beyond [13.867793835583463]
本稿では,破滅的な記憶を解消するための不確実性を考慮したメモリベース手法を提案する。
特定の特性を持つサンプルを検索し、そのようなサンプル上でモデルを再訓練することで、このアプローチの可能性を実証する。
論文 参考訳（メタデータ） (2024-05-29T09:29:39Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳（メタデータ） (2024-02-22T04:10:57Z) - Online Tensor Inference [0.0]
従来のオフライン学習は、各計算繰り返しにおける全てのデータの保存と利用を伴い、高次元テンソルデータには実用的ではない。
既存の低ランクテンソル法は、オンラインの方法での統計的推論能力に欠ける。
本手法では,広範囲なメモリ要求を伴わずに効率的なリアルタイムデータ処理を実現するため,グラディエント・Descent (SGD) を用いる。
論文 参考訳（メタデータ） (2023-12-28T16:37:48Z) - Optimal Sample Selection Through Uncertainty Estimation and Its
Application in Deep Learning [22.410220040736235]
コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。
提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
論文 参考訳（メタデータ） (2023-09-05T14:06:33Z) - Sequential Learning Of Neural Networks for Prequential MDL [18.475866691786695]
ニューラルネットワークを用いた画像分類データセットの事前記述長の計算手法を評価する。
計算コストを考慮すると、リハーサルによるオンライン学習は好成績であることがわかった。
本稿では,画像分類データセットの集合に対する記述長について述べる。
論文 参考訳（メタデータ） (2022-10-14T16:30:23Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） (2021-11-24T06:18:32Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳（メタデータ） (2021-05-03T07:23:39Z) - TraDE: Transformers for Density Estimation [101.20137732920718]
TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。
本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
論文 参考訳（メタデータ） (2020-04-06T07:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。