論文の概要: Utilizing Ensemble Learning for Performance and Power Modeling and Improvement of Parallel Cancer Deep Learning CANDLE Benchmarks

• arxiv url: http://arxiv.org/abs/2011.06654v1
• Date: Thu, 12 Nov 2020 21:18:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 07:54:35.198510
• Title: Utilizing Ensemble Learning for Performance and Power Modeling and Improvement of Parallel Cancer Deep Learning CANDLE Benchmarks
• Title（参考訳）: 並列癌ディープラーニングCANDLEベンチマークの性能とパワーモデリングのためのアンサンブル学習の利用と改善
• Authors: Xingfu Wu and Valerie Taylor
• Abstract要約: 本稿では,アンサンブル学習を用いて,線形,非線形,木/木に基づく機械学習手法を組み合わせる。 2つの並列癌ディープラーニングCANDLEベンチマーク(NT3とP1B2)のために収集したデータセットを使用する。 P1B2は最大61.15%,P1B2は最大62.58%,P1B2は最大55.81%,NT3は最大52.60%の省エネルギーを実現した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine learning (ML) continues to grow in importance across nearly all domains and is a natural tool in modeling to learn from data. Often a tradeoff exists between a model's ability to minimize bias and variance. In this paper, we utilize ensemble learning to combine linear, nonlinear, and tree-/rule-based ML methods to cope with the bias-variance tradeoff and result in more accurate models. Hardware performance counter values are correlated with properties of applications that impact performance and power on the underlying system. We use the datasets collected for two parallel cancer deep learning CANDLE benchmarks, NT3 (weak scaling) and P1B2 (strong scaling), to build performance and power models based on hardware performance counters using single-object and multiple-objects ensemble learning to identify the most important counters for improvement. Based on the insights from these models, we improve the performance and energy of P1B2 and NT3 by optimizing the deep learning environments TensorFlow, Keras, Horovod, and Python under the huge page size of 8 MB on the Cray XC40 Theta at Argonne National Laboratory. Experimental results show that ensemble learning not only produces more accurate models but also provides more robust performance counter ranking. We achieve up to 61.15% performance improvement and up to 62.58% energy saving for P1B2 and up to 55.81% performance improvement and up to 52.60% energy saving for NT3 on up to 24,576 cores.
• Abstract（参考訳）: 機械学習(ML)は、ほぼすべてのドメインにおいて重要性を増し続けており、データから学ぶためのモデリングの自然なツールである。 しばしば、バイアスと分散を最小化するモデルの能力の間にトレードオフが存在する。 本稿では,アンサンブル学習を用いて線形,非線形,木/ルールに基づくML手法を組み合わせてバイアス分散トレードオフに対処し,より正確なモデルを得る。 ハードウェア性能カウンタ値は、基礎となるシステムの性能とパワーに影響を与えるアプリケーションの特性と相関する。 並列がんディープラーニングCANDLEベンチマークであるNT3(弱スケーリング)とP1B2(強スケーリング)で収集されたデータセットを使用して、単一オブジェクトと複数オブジェクトのアンサンブル学習を使用してハードウェアパフォーマンスカウンタに基づくパフォーマンスとパワーモデルを構築し、改善のための最も重要なカウンタを特定する。 これらのモデルから得られた知見に基づき、Argonne National LaboratoryのCray XC40 Thetaにおいて、TensorFlow、Keras、Horovod、Pythonといったディープラーニング環境を8MBの巨大なページサイズで最適化することにより、P1B2とNT3のパフォーマンスとエネルギーを改善する。 実験の結果、アンサンブル学習はより正確なモデルを生成するだけでなく、より堅牢なパフォーマンスカウンタランキングを提供することが示された。 我々は、p1b2の最大61.15%、最大62.58%の省エネ、55.81%の性能改善、最大24,576コアのnt3の52.60%の省エネを実現しました。

関連論文リスト

• The More the Merrier? Navigating Accuracy vs. Energy Efficiency Design Trade-Offs in Ensemble Learning Systems [13.462625365349663]
  我々は,精度とエネルギー消費のトレードオフの可能性について,アンサンブル学習のための3種類の設計判断を分析した。 我々はJの精度(F1スコア)とエネルギー消費(トレーニングと推論の両方)を測定した。 私たちは、サブセットベースのトレーニング、多数決投票、決定木、ネイブベイズ、KNNのようなエネルギー効率の良いMLアルゴリズムを使用して、小さな(最大3モデルまたは2モデル)アンサンブルを設計することを推奨します。
  論文  参考訳（メタデータ） (2024-07-03T08:45:17Z)
• Green AI: A Preliminary Empirical Study on Energy Consumption in DL Models Across Different Runtime Infrastructures [56.200335252600354]
  トレーニング済みのモデルを、ネイティブな開発環境とは異なる環境にデプロイするのは、一般的なプラクティスです。 これにより、インフラを含むONNXや標準フォーマットとして機能するONNXなどの交換フォーマットが導入された。
  論文  参考訳（メタデータ） (2024-02-21T09:18:44Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Complementary Ensemble Learning [1.90365714903665]
  我々は最先端のディープラーニングモデルの性能向上手法を考案した。 具体的には、最先端モデルの不確実性を補完できる補助モデルを訓練する。
  論文  参考訳（メタデータ） (2021-11-09T03:23:05Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Learning to Fairly Classify the Quality of Wireless Links [0.5352699766206808]
  本稿では,高性能な木質リンク品質分類器を提案し,マイノリティクラスを公平に分類する。 選択された不均衡データセット上で,木モデルとMLP非線形モデルと2つの線形モデル,すなわちロジスティック回帰(LR)とSVMを比較した。 本研究は,(1)非線形モデルが一般に線形モデルよりも若干優れていること,2)提案する非線形木ベースモデルが,f1,トレーニング時間,公平性を考慮した最高のパフォーマンストレードオフをもたらすこと,3)正確性のみに基づく単一メトリクス集約評価が貧弱であることを示す。
  論文  参考訳（メタデータ） (2021-02-23T12:23:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。