論文の概要: NURD: Negative-Unlabeled Learning for Online Datacenter Straggler Prediction

• arxiv url: http://arxiv.org/abs/2203.08339v1
• Date: Wed, 16 Mar 2022 01:15:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 05:21:33.572882
• Title: NURD: Negative-Unlabeled Learning for Online Datacenter Straggler Prediction
• Title（参考訳）: nurd: オンラインデータセンタストラグラー予測のための負ラベル学習
• Authors: Yi Ding, Avinash Rao, Hyebin Song, Rebecca Willett, Henry Hoffmann
• Abstract要約: タスクが完了するとタスクが完了するので、ストラグラーはパフォーマンスの大きな障害になります。 本稿では,再重み付けと分散補償を併用した新しい負非ラベル学習手法であるNURDを提案する。 NURDをGoogleとAlibabaの2つの製品トレースで評価する。
• 参考スコア（独自算出の注目度）: 17.346001585453415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Datacenters execute large computational jobs, which are composed of smaller tasks. A job completes when all its tasks finish, so stragglers -- rare, yet extremely slow tasks -- are a major impediment to datacenter performance. Accurately predicting stragglers would enable proactive intervention, allowing datacenter operators to mitigate stragglers before they delay a job. While much prior work applies machine learning to predict computer system performance, these approaches rely on complete labels -- i.e., sufficient examples of all possible behaviors, including straggling and non-straggling -- or strong assumptions about the underlying latency distributions -- e.g., whether Gaussian or not. Within a running job, however, none of this information is available until stragglers have revealed themselves when they have already delayed the job. To predict stragglers accurately and early without labeled positive examples or assumptions on latency distributions, this paper presents NURD, a novel Negative-Unlabeled learning approach with Reweighting and Distribution-compensation that only trains on negative and unlabeled streaming data. The key idea is to train a predictor using finished tasks of non-stragglers to predict latency for unlabeled running tasks, and then reweight each unlabeled task's prediction based on a weighting function of its feature space. We evaluate NURD on two production traces from Google and Alibaba, and find that compared to the best baseline approach, NURD produces 2--11 percentage point increases in the F1 score in terms of prediction accuracy, and 4.7--8.8 percentage point improvements in job completion time.
• Abstract（参考訳）: データセンターは、小さなタスクで構成される大規模な計算ジョブを実行する。 ジョブはすべてのタスクが完了すると完了するため、ストラグラー(まれだが非常に遅いタスク)はデータセンタのパフォーマンスにとって大きな障害となる。 正確な予測によって、ストラグラーのプロアクティブな介入が可能となり、データセンターオペレーターは、ストラグラーがジョブを遅延する前に軽減できる。 多くの先行研究がコンピュータシステムの性能を予測するために機械学習を適用しているが、これらのアプローチは完全なラベル、すなわち、ストラグリングやノンストラグリングを含む全ての可能な振る舞いの十分な例、あるいは基礎となる遅延分布に関する強い仮定、例えばガウス的かどうかに頼っている。 しかし、実行中のジョブ内では、ストラグラーがすでにジョブを遅らせていることを明かすまで、これらの情報は利用できない。 本稿では,遅延分布の正の例や仮定をラベル付けせずに,トラグラーを正確に,早期に予測するために,負および未ラベルのストリーミングデータのみをトレーニングするReweighting and Distribution-compensationを用いた新しい負の非ラベル学習手法であるNURDを提案する。 鍵となる考え方は、非ストラグラーの完了タスクを使用して予測器を訓練し、未ラベル実行タスクの遅延を予測し、その特徴空間の重み付け関数に基づいて各未ラベルタスクの予測を再重み付けすることである。 我々は,google と alibaba の2つの生産トレースから nurd を評価し,最高のベースラインアプローチと比較し,予測精度の観点から f1 スコアの 2-11 ポイント増加と4.7--8.8 パーセンテージのジョブ完了時間の改善を見出した。

関連論文リスト

• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Task-Aware Machine Unlearning and Its Application in Load Forecasting [4.00606516946677]
  本稿では、すでに訓練済みの予測器に対するデータセットの一部の影響を除去するために特別に設計された機械学習の概念を紹介する。 局所モデルパラメータ変化の感度を影響関数とサンプル再重み付けを用いて評価することにより,性能認識アルゴリズムを提案する。 リアルな負荷データセットを用いて,線形,CNN,Mixerベースの負荷予測器上で,未学習アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2023-08-28T08:50:12Z)
• PePNet: A Periodicity-Perceived Workload Prediction Network Supporting Rare Occurrence of Heavy Workload [11.93843096959306]
  クラウドサーバのワークロードは非常に可変的であり、時には重いワークロードがバーストする。 ワークロード予測には統計手法とニューラルネットベースの方法の2つのカテゴリがある。 本稿では,特に負荷予測の精度を向上させるため,PePNetを提案する。
  論文  参考訳（メタデータ） (2023-07-11T07:56:27Z)
• DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
  ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。 本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。 我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-25T08:16:21Z)
• Non-Clairvoyant Scheduling with Predictions Revisited [77.86290991564829]
  非論理的スケジューリングでは、優先度不明な処理条件でジョブをスケジューリングするためのオンライン戦略を見つけることが課題である。 我々はこのよく研究された問題を、アルゴリズム設計に(信頼できない)予測を統合する、最近人気の高い学習強化された設定で再検討する。 これらの予測には所望の特性があり, 高い性能保証を有するアルゴリズムと同様に, 自然な誤差測定が可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-21T13:18:11Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• CaSP: Class-agnostic Semi-Supervised Pretraining for Detection and Segmentation [60.28924281991539]
  本稿では,タスク固有性バランスを向上するために,クラス非依存型半教師付き事前学習(CaSP)フレームワークを提案する。 我々は3.6Mの未ラベルデータを用いて、ImageNetで規定されたオブジェクト検出のベースラインよりも4.7%の顕著なパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2021-12-09T14:54:59Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Towards optimally abstaining from prediction [22.937799541125607]
  機械学習のあらゆる領域に共通する課題は、トレーニングデータがテストデータのように分散されていないことだ。 一定のコストで予測を控えるモデルを考える。 我々は、Goldwasser、Kalais、Montasser(2020年)の最近の禁断アルゴリズムに基づいて、トランスダクティブバイナリ分類を行った。
  論文  参考訳（メタデータ） (2021-05-28T21:44:48Z)
• Exploring Bayesian Surprise to Prevent Overfitting and to Predict Model Performance in Non-Intrusive Load Monitoring [25.32973996508579]
  非侵入負荷モニタリング(Non-Intrusive Load Monitoring, NILM)は、集積信号のみに基づくシステムにおける構成的電気負荷の分離に焦点を当てた研究分野である。 予測分布(予測的サプライズ)と遷移確率(遷移的サプライズ)の間のサプライズ度を定量化する。 この研究は、データセットサイズに関するモデルパフォーマンスのリターンを減少させるポイントが存在するという明確な証拠を提供する。
  論文  参考訳（メタデータ） (2020-09-16T15:39:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。