論文の概要: Feature Selection for Learning to Predict Outcomes of Compute Cluster
Jobs with Application to Decision Support
- arxiv url: http://arxiv.org/abs/2012.07982v1
- Date: Mon, 14 Dec 2020 22:35:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-08 16:25:46.143334
- Title: Feature Selection for Learning to Predict Outcomes of Compute Cluster
Jobs with Application to Decision Support
- Title（参考訳）: 計算機クラスタジョブの成果予測学習のための特徴選択と意思決定支援への応用
- Authors: Adedolapo Okanlawon, Huichen Yang, Avishek Bose, William Hsu, Dan
Andresen, Mohammed Tanash
- Abstract要約: 高性能コンピューティングクラスタのためのSlurm Workload Managerから、機械学習フレームワークとデータマイニングのための新しいテストベッドを提示する。
ユーザがCPUとメモリの割り当てを強化して失敗したジョブを再提出するか、あるいはそれらをコンピューティングクラウドに移行するかを決めるのを支援する。
本稿では,hpcジョブの資源管理(slurm)データ集合に対して,機能選択のための3つの異なる手法を用いて学習した教師付き学習モデルを提案する。
- 参考スコア（独自算出の注目度）: 7.55043162959755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a machine learning framework and a new test bed for data mining
from the Slurm Workload Manager for high-performance computing (HPC) clusters.
The focus was to find a method for selecting features to support decisions:
helping users decide whether to resubmit failed jobs with boosted CPU and
memory allocations or migrate them to a computing cloud. This task was cast as
both supervised classification and regression learning, specifically,
sequential problem solving suitable for reinforcement learning. Selecting
relevant features can improve training accuracy, reduce training time, and
produce a more comprehensible model, with an intelligent system that can
explain predictions and inferences. We present a supervised learning model
trained on a Simple Linux Utility for Resource Management (Slurm) data set of
HPC jobs using three different techniques for selecting features: linear
regression, lasso, and ridge regression. Our data set represented both HPC jobs
that failed and those that succeeded, so our model was reliable, less likely to
overfit, and generalizable. Our model achieved an R^2 of 95\% with 99\%
accuracy. We identified five predictors for both CPU and memory properties.
- Abstract（参考訳）: 我々は,高性能コンピューティング(HPC)クラスタのためのSlurm Workload Managerから,機械学習フレームワークとデータマイニングのための新しいテストベッドを提案する。
ユーザがCPUとメモリの割り当てを増やして失敗したジョブを再送信するか、あるいはコンピューティングクラウドに移行するかを決めるのを助ける。
このタスクは教師付き分類と回帰学習、特に強化学習に適した逐次問題解決の両方としてキャストされた。
関連する機能の選択は、トレーニングの精度を改善し、トレーニング時間を短縮し、予測と推論を説明するインテリジェントなシステムを備えた、より理解しやすいモデルを生成する。
我々は,HPCジョブのシンプルなLinuxユーティリティ(Slurm)データセットに基づいて,線形回帰,ラッソ,リッジ回帰の3つの異なる手法を用いて訓練された教師付き学習モデルを提案する。
私たちのデータセットは失敗するHPCジョブと成功したジョブの両方を表しています。
本モデルは, 95\%のr^2を99\%精度で達成した。
cpu特性とメモリ特性の両方の予測器を5つ同定した。
関連論文リスト
- LoRA Unlearns More and Retains More (Student Abstract) [0.0]
PruneLoRAは、モデルに低ランクの更新を適用することで、大規模なパラメータ更新の必要性を減らす。
そこで我々はLoRAを利用してプルーンドモデルのパラメータのサブセットを選択的に修正し、計算コスト、メモリ要件を低減し、残りのクラスの性能を維持するモデルの能力を向上させる。
論文 参考訳（メタデータ） (2024-11-16T16:47:57Z) - Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。
LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。
本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
論文 参考訳（メタデータ） (2024-11-13T08:56:35Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Cross-Silo Prototypical Calibration for Federated Learning with Non-IID
Data [24.3384892417653]
Federated Learningは、すべてのクライアントにプライバシ保護の方法で一般化する、サーバ側のグローバルモデルを学ぶことを目的としている。
この問題に対処するために, クロスサイロ型原型校正法(FedCSPC)を提案する。
FedCSPCはクライアントから追加のプロトタイプ情報を取得し、サーバ側で統一された機能空間を学習する。
論文 参考訳（メタデータ） (2023-08-07T10:25:54Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳（メタデータ） (2022-10-31T09:46:26Z) - Deep Regression Unlearning [6.884272840652062]
我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。
我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
論文 参考訳（メタデータ） (2022-10-15T05:00:20Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。