論文の概要: Feature Selection for Learning to Predict Outcomes of Compute Cluster
Jobs with Application to Decision Support
- arxiv url: http://arxiv.org/abs/2012.07982v1
- Date: Mon, 14 Dec 2020 22:35:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-08 16:25:46.143334
- Title: Feature Selection for Learning to Predict Outcomes of Compute Cluster
Jobs with Application to Decision Support
- Title（参考訳）: 計算機クラスタジョブの成果予測学習のための特徴選択と意思決定支援への応用
- Authors: Adedolapo Okanlawon, Huichen Yang, Avishek Bose, William Hsu, Dan
Andresen, Mohammed Tanash
- Abstract要約: 高性能コンピューティングクラスタのためのSlurm Workload Managerから、機械学習フレームワークとデータマイニングのための新しいテストベッドを提示する。
ユーザがCPUとメモリの割り当てを強化して失敗したジョブを再提出するか、あるいはそれらをコンピューティングクラウドに移行するかを決めるのを支援する。
本稿では,hpcジョブの資源管理(slurm)データ集合に対して,機能選択のための3つの異なる手法を用いて学習した教師付き学習モデルを提案する。
- 参考スコア（独自算出の注目度）: 7.55043162959755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a machine learning framework and a new test bed for data mining
from the Slurm Workload Manager for high-performance computing (HPC) clusters.
The focus was to find a method for selecting features to support decisions:
helping users decide whether to resubmit failed jobs with boosted CPU and
memory allocations or migrate them to a computing cloud. This task was cast as
both supervised classification and regression learning, specifically,
sequential problem solving suitable for reinforcement learning. Selecting
relevant features can improve training accuracy, reduce training time, and
produce a more comprehensible model, with an intelligent system that can
explain predictions and inferences. We present a supervised learning model
trained on a Simple Linux Utility for Resource Management (Slurm) data set of
HPC jobs using three different techniques for selecting features: linear
regression, lasso, and ridge regression. Our data set represented both HPC jobs
that failed and those that succeeded, so our model was reliable, less likely to
overfit, and generalizable. Our model achieved an R^2 of 95\% with 99\%
accuracy. We identified five predictors for both CPU and memory properties.
- Abstract（参考訳）: 我々は,高性能コンピューティング(HPC)クラスタのためのSlurm Workload Managerから,機械学習フレームワークとデータマイニングのための新しいテストベッドを提案する。
ユーザがCPUとメモリの割り当てを増やして失敗したジョブを再送信するか、あるいはコンピューティングクラウドに移行するかを決めるのを助ける。
このタスクは教師付き分類と回帰学習、特に強化学習に適した逐次問題解決の両方としてキャストされた。
関連する機能の選択は、トレーニングの精度を改善し、トレーニング時間を短縮し、予測と推論を説明するインテリジェントなシステムを備えた、より理解しやすいモデルを生成する。
我々は,HPCジョブのシンプルなLinuxユーティリティ(Slurm)データセットに基づいて,線形回帰,ラッソ,リッジ回帰の3つの異なる手法を用いて訓練された教師付き学習モデルを提案する。
私たちのデータセットは失敗するHPCジョブと成功したジョブの両方を表しています。
本モデルは, 95\%のr^2を99\%精度で達成した。
cpu特性とメモリ特性の両方の予測器を5つ同定した。
関連論文リスト
- Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Cross-Silo Prototypical Calibration for Federated Learning with Non-IID
Data [24.3384892417653]
Federated Learningは、すべてのクライアントにプライバシ保護の方法で一般化する、サーバ側のグローバルモデルを学ぶことを目的としている。
この問題に対処するために, クロスサイロ型原型校正法(FedCSPC)を提案する。
FedCSPCはクライアントから追加のプロトタイプ情報を取得し、サーバ側で統一された機能空間を学習する。
論文 参考訳（メタデータ） (2023-08-07T10:25:54Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - TIDo: Source-free Task Incremental Learning in Non-stationary
Environments [0.0]
モデルベースのエージェントを更新して新しいターゲットタスクを学習するには、過去のトレーニングデータを格納する必要があります。
ラベル付きターゲットデータセットの制限を克服するタスクインクリメンタル学習手法はほとんどない。
本研究では,非定常的および目標的タスクに適応可能なワンショットタスクインクリメンタル学習手法を提案する。
論文 参考訳（メタデータ） (2023-01-28T02:19:45Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳（メタデータ） (2022-10-31T09:46:26Z) - Deep Regression Unlearning [6.884272840652062]
我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。
我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
論文 参考訳（メタデータ） (2022-10-15T05:00:20Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - Benchmarking Learning Efficiency in Deep Reservoir Computing [23.753943709362794]
我々は、機械学習モデルがトレーニングデータからいかに早く学習するかを測定するために、データ効率の指標とともに、ますます困難なタスクのベンチマークを導入する。
我々は、RNN、LSTM、Transformersなどの確立された逐次教師付きモデルの学習速度を、貯水池計算に基づく比較的知られていない代替モデルと比較する。
論文 参考訳（メタデータ） (2022-09-29T08:16:52Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。