論文の概要: Towards Continually Learning Application Performance Models

• arxiv url: http://arxiv.org/abs/2310.16996v1
• Date: Wed, 25 Oct 2023 20:48:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 23:13:41.071532
• Title: Towards Continually Learning Application Performance Models
• Title（参考訳）: 継続的にアプリケーションパフォーマンスモデルを学習する
• Authors: Ray A. O. Sinurat, Anurag Daram, Haryadi S. Gunawi, Robert B. Ross, Sandeep Madireddy
• Abstract要約: 機械学習ベースのパフォーマンスモデルは、重要なジョブスケジューリングとアプリケーションの最適化決定を構築するために、ますます使われています。 伝統的に、これらのモデルは、より多くのサンプルが時間とともに収集されるため、データ分布が変化しないと仮定する。 本研究では,分布のドリフトを考慮した継続的な学習性能モデルを構築し,破滅的な忘れを軽減し,一般化性を向上させる。
• 参考スコア（独自算出の注目度）: 1.2278517240988065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning-based performance models are increasingly being used to build critical job scheduling and application optimization decisions. Traditionally, these models assume that data distribution does not change as more samples are collected over time. However, owing to the complexity and heterogeneity of production HPC systems, they are susceptible to hardware degradation, replacement, and/or software patches, which can lead to drift in the data distribution that can adversely affect the performance models. To this end, we develop continually learning performance models that account for the distribution drift, alleviate catastrophic forgetting, and improve generalizability. Our best model was able to retain accuracy, regardless of having to learn the new distribution of data inflicted by system changes, while demonstrating a 2x improvement in the prediction accuracy of the whole data sequence in comparison to the naive approach.
• Abstract（参考訳）: 機械学習ベースのパフォーマンスモデルは、重要なジョブスケジューリングとアプリケーションの最適化決定を構築するためにますます使われています。 伝統的に、これらのモデルは、より多くのサンプルが時間とともに収集されるため、データ分布が変化しないと仮定する。 しかしながら、プロダクションHPCシステムの複雑さと不均一性のため、ハードウェアの劣化、置換、および/またはソフトウェアパッチの影響を受けやすいため、パフォーマンスモデルに悪影響を及ぼす可能性のあるデータ分散のドリフトにつながる可能性がある。 この目的のために、分布のドリフトを考慮した継続的な学習性能モデルを開発し、破滅的な忘れを軽減し、一般化性を向上させる。 私たちの最善のモデルは、システム変更によってもたらされるデータの新たな分布を学ばなくても精度を維持することができ、一方で、ナイーブなアプローチと比較して、データシーケンス全体の予測精度を2倍向上させることができました。

関連論文リスト

• Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
  本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。 限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• The Data Addition Dilemma [4.869513274920574]
  医療タスクのための多くの機械学習では、標準データセットは、多くの、基本的に異なるソースにまたがるデータを集約することによって構築される。 しかし、いつより多くのデータを追加することが助けになるのか、いつ、実際の設定で望ましいモデル結果の進行を妨げるのか? この状況をtextitData Addition Dilemma と認識し、このマルチソーススケーリングコンテキストにトレーニングデータを追加すると、全体的な精度が低下し、不確実なフェアネスの結果が減少し、最悪のサブグループのパフォーマンスが低下することを示した。
  論文  参考訳（メタデータ） (2024-08-08T01:42:31Z)
• Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
  本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。 単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。 我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
  論文  参考訳（メタデータ） (2024-03-04T19:38:50Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
  機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。 実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
  論文  参考訳（メタデータ） (2023-10-15T04:24:42Z)
• Online learning techniques for prediction of temporal tabular datasets with regime changes [0.0]
  時間パネルデータセットの予測をランキングするモジュール型機械学習パイプラインを提案する。 パイプラインのモジュラリティにより、GBDT(Gradient Boosting Decision Tree)やニューラルネットワークなど、さまざまなモデルの使用が可能になる。 モデルの再トレーニングを必要としないオンライン学習技術は、予測後の結果を高めるために使用することができる。
  論文  参考訳（メタデータ） (2022-12-30T17:19:00Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Wavelet-Based Hybrid Machine Learning Model for Out-of-distribution Internet Traffic Prediction [3.689539481706835]
  本稿では,eXtreme Gradient Boosting, Light Gradient Boosting Machine, Gradient Descent, Gradient Boosting Regressor, Cat Regressorを用いた機械学習性能について検討する。 本稿では,ウェーブレット分解を統合したハイブリッド機械学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-09T14:34:42Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。