論文の概要: Towards providing reliable job completion time predictions using PCS
- arxiv url: http://arxiv.org/abs/2401.10354v1
- Date: Thu, 18 Jan 2024 19:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 17:43:21.133657
- Title: Towards providing reliable job completion time predictions using PCS
- Title(参考訳): PCSを用いた信頼性のある作業完了時間予測の実現に向けて
- Authors: Abdullah Bin Faisal and Noah Martin and Hafiz Mohsin Bashir and
Swaminathan Lamelas and Fahad R. Dogar
- Abstract要約: PCSは、他の伝統的な目的のバランスを保ちながら予測可能性を提供することを目的とした、新しいスケジューリングフレームワークである。
PCSは、性能と公正性を極端に妥協しながら、正確な完了時間推定を提供することができる。
- 参考スコア(独自算出の注目度): 0.874967598360817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we build a case for providing job completion time predictions
to cloud users, similar to the delivery date of a package or arrival time of a
booked ride. Our analysis reveals that providing predictability can come at the
expense of performance and fairness. Existing cloud scheduling systems optimize
for extreme points in the trade-off space, making them either extremely
unpredictable or impractical.
To address this challenge, we present PCS, a new scheduling framework that
aims to provide predictability while balancing other traditional objectives.
The key idea behind PCS is to use Weighted-Fair-Queueing (WFQ) and find a
suitable configuration of different WFQ parameters (e.g., class weights) that
meets specific goals for predictability. It uses a simulation-aided search
strategy, to efficiently discover WFQ configurations that lie on the Pareto
front of the trade-off space between these objectives. We implement and
evaluate PCS in the context of DNN job scheduling on GPUs. Our evaluation, on a
small scale GPU testbed and larger-scale simulations, shows that PCS can
provide accurate completion time estimates while marginally compromising on
performance and fairness.
- Abstract(参考訳): 本稿では,荷物の配送日や予約乗車の到着日時と同様に,クラウドユーザに対してジョブ完了時刻の予測を行うケースを構築する。
分析の結果,予測可能性の提供は性能と公平性を犠牲にできることがわかった。
既存のクラウドスケジューリングシステムはトレードオフ空間の極端なポイントを最適化し、非常に予測不可能か非現実的になる。
この課題に対処するために,従来の目標をバランスしながら予測可能性を提供することを目的とした,新しいスケジューリングフレームワークpcsを提案する。
PCSの背景にある重要な考え方は、重み付きFair-Queueing (WFQ)を使い、予測可能性の特定の目標を満たす異なるWFQパラメータ(例えばクラスウェイト)の適切な構成を見つけることである。
シミュレーション支援された検索戦略を用いて、これらの目的間のトレードオフ空間のPareto前面にあるWFQ構成を効率的に発見する。
我々はGPU上でのDNNジョブスケジューリングにおけるPCSの実装と評価を行う。
小型GPUテストベッドと大規模シミュレーションを用いて評価した結果,PCSは性能と公平性を極端に妥協しながら,正確な完了時間推定を行うことができた。
関連論文リスト
- OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。
OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。
最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
論文 参考訳(メタデータ) (2024-09-14T07:44:22Z) - Probabilistic Weather Forecasting with Hierarchical Graph Neural Networks [17.64833210797824]
本稿では,Graph-EFMと呼ばれる確率的天気予報モデルを提案する。
このモデルは、柔軟な潜在変数の定式化とグラフベースの予測フレームワークを結合する。
Graph-EFMのアンサンブル予測は、同等の決定論的モデルよりも同等または低いエラーを達成する。
論文 参考訳(メタデータ) (2024-06-07T09:01:25Z) - Contract Scheduling with Distributional and Multiple Advice [37.64065953072774]
これまでの研究によると、割り込み時間に関する予測は、契約ベースのシステムの性能を改善するのに役立ちます。
本稿では,予測が確率分布の形で行われる,より汎用的で現実的な学習強化設定の導入と研究を行う。
提案手法は,分布設定における誤差の予測に頑健であることを示す。
論文 参考訳(メタデータ) (2024-04-18T19:58:11Z) - Enhancing Mean-Reverting Time Series Prediction with Gaussian Processes:
Functional and Augmented Data Structures in Financial Forecasting [0.0]
本稿では,ガウス過程(GP)を基礎構造を持つ平均回帰時系列の予測に適用する。
GPは、平均予測だけでなく、将来の軌道上の確率分布全体を予測する可能性を提供する。
これは、不正なボラティリティ評価が資本損失につながる場合、正確な予測だけでは十分でない金融状況において特に有益である。
論文 参考訳(メタデータ) (2024-02-23T06:09:45Z) - Score Matching-based Pseudolikelihood Estimation of Neural Marked
Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。
具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。
提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
論文 参考訳(メタデータ) (2023-10-25T02:37:51Z) - Performative Time-Series Forecasting [71.18553214204978]
我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。
本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。
新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
論文 参考訳(メタデータ) (2023-10-09T18:34:29Z) - QBSD: Quartile-Based Seasonality Decomposition for Cost-Effective RAN KPI Forecasting [0.18416014644193066]
我々は、精度と計算複雑性のトレードオフを最適化するために、QBSDというライブシングルステップ予測手法を紹介した。
QBSDは数千セル以上の実ネットワークRANデータセットで大きな成功を収めています。
その結果,提案手法は主要なアルゴリズムに比べて実行効率が優れていることがわかった。
論文 参考訳(メタデータ) (2023-06-09T15:59:27Z) - KPF-AE-LSTM: A Deep Probabilistic Model for Net-Load Forecasting in High
Solar Scenarios [0.0]
本稿では, 日頭ネット負荷の確率的予測を15分分解能, 様々な太陽透過レベルで生成する深層学習手法を提案する。
これらのモデルは、既存のベンチマークモデルと比較して、優れた予測性能を提供するとともに、優れたトレーニング効率を維持することが示されている。
論文 参考訳(メタデータ) (2022-03-05T10:54:54Z) - Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。
まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。
次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
論文 参考訳(メタデータ) (2021-02-10T15:23:20Z) - Probabilistic electric load forecasting through Bayesian Mixture Density
Networks [70.50488907591463]
確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。
ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。
後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
論文 参考訳(メタデータ) (2020-12-23T16:21:34Z) - AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。
最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。
さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2020-06-24T23:13:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。