論文の概要: Improve Machine Learning carbon footprint using Nvidia GPU and Mixed Precision training for classification algorithms
- arxiv url: http://arxiv.org/abs/2409.07853v1
- Date: Thu, 12 Sep 2024 08:59:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 17:18:01.256449
- Title: Improve Machine Learning carbon footprint using Nvidia GPU and Mixed Precision training for classification algorithms
- Title（参考訳）: Nvidia GPUとMixed Precisionによる分類アルゴリズムによる機械学習カーボンフットプリントの改善
- Authors: Andrew Antonopoulos,
- Abstract要約: 本研究では,既定浮動小数点(32bit)とNvidia混合精度(16bit,32bit)を用いて,分類MLモデルをトレーニングしながら消費電力を比較する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study was part of my dissertation for my master degree and compares the power consumption using the default floating point (32bit) and Nvidia mixed precision (16bit and 32bit) while training a classification ML model. A custom PC with specific hardware was built to perform the experiments, and different ML hyper-parameters, such as batch size, neurons, and epochs, were chosen to build Deep Neural Networks (DNN). Additionally, various software was used during the experiments to collect the power consumption data in Watts from the Graphics Processing Unit (GPU), Central Processing Unit (CPU), Random Access Memory (RAM) and manually from a wattmeter connected to the wall. A benchmarking test with default hyper parameter values for the DNN was used as a reference, while the experiments used a combination of different settings. The results were recorded in Excel, and descriptive statistics were chosen to calculate the mean between the groups and compare them using graphs and tables. The outcome was positive when using mixed precision combined with specific hyper-parameters. Compared to the benchmarking, the optimisation for the classification reduced the power consumption between 7 and 11 Watts. Similarly, the carbon footprint is reduced because the calculation uses the same power consumption data. Still, a consideration is required when configuring hyper-parameters because it can negatively affect hardware performance. However, this research required inferential statistics, specifically ANOVA and T-test, to compare the relationship between the means. Furthermore, tests indicated no statistical significance of the relationship between the benchmarking and experiments. However, a more extensive implementation with a cluster of GPUs can increase the sample size significantly, as it is an essential factor and can change the outcome of the statistical analysis.
- Abstract（参考訳）: この研究は私の修士論文の一部であり、分類MLモデルのトレーニング中にデフォルト浮動小数点(32bit)とNvidia混合精度(16bit、32bit)を用いて消費電力を比較した。
特定のハードウェアを備えたカスタムPCが実験のために構築され、バッチサイズ、ニューロン、エポックなどの異なるMLハイパーパラメータがDeep Neural Networks (DNN)を構築するために選択された。
さらに、実験中に、グラフィクス処理ユニット(GPU)、中央処理ユニット(CPU)、ランダムアクセスメモリ(RAM)、および壁に接続されたワットメータからWattsの消費電力データを収集するために様々なソフトウェアが使用された。
DNNのデフォルトのハイパーパラメータ値を持つベンチマークテストが参照として使用され、実験では異なる設定の組み合わせが使用された。
結果はExcelに記録され、グループ間の平均値を計算し、グラフとテーブルを用いて比較するために記述統計が選択された。
その結果, 混合精度と特定のハイパーパラメータを併用した場合, 有意差は認められなかった。
ベンチマークと比較すると、分類の最適化により消費電力は7ワットから11ワットに減少した。
同様に、計算が同じ消費電力データを使用するため、炭素フットプリントは減少する。
しかし、ハードウェア性能に悪影響を及ぼす可能性があるため、ハイパーパラメータの設定には考慮が必要である。
しかし,本研究では,ANOVAとTテストの関係を比較するために,推論統計(特にANOVAとTテスト)を必要とした。
さらに, ベンチマークと実験の関係について, 統計的に有意な評価は得られなかった。
しかし、GPUのクラスタによるより広範な実装は、本質的な要因であり、統計分析の結果を変える可能性があるため、サンプルサイズを著しく増大させることができる。
関連論文リスト
- Improve Machine Learning carbon footprint using Parquet dataset format and Mixed Precision training for regression models -- Part II [0.0]
この論文では、回帰MLモデルをトレーニングしながら、Comma-Separated-Values(CSV)とデータセットフォーマットを使用した消費電力を、デフォルトの浮動小数点(32bit)とNvidiaの混合精度(16bitと32bit)と比較した。
論文 参考訳（メタデータ） (2024-09-17T10:53:03Z) - Be aware of overfitting by hyperparameter optimization! [0.0]
ハイパーパラメータ最適化が必ずしも良いモデルをもたらすとは限らないことを示し、おそらく同じ統計測度を使用する場合の過度な適合が原因である。
我々はまた、トランスフォーマーCNNと呼ばれる笑顔の自然言語処理に基づく表現学習手法を追加することで、過去の分析を拡張した。
この結果から,トランスフォーマーCNNは,28対比較中26対比較において,グラフベースの手法よりも優れた結果を示した。
論文 参考訳（メタデータ） (2024-07-30T12:45:05Z) - Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation [17.924276728038304]
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
論文 参考訳（メタデータ） (2023-10-12T23:06:52Z) - Optimizing transformer-based machine translation model for single GPU
training: a hyperparameter ablation study [0.0]
機械翻訳タスクでは、モデル複雑性と性能の関係はしばしば線形であると仮定される。
本研究は,シーケンス・ツー・シーケンス機械翻訳パイプラインにおけるアブレーションによるハイパーパラメータの効果を系統的に検討する。
予想とは対照的に、我々の実験では、最大パラメータの組み合わせが必ずしも最も効果的であるとは限らないことが判明した。
論文 参考訳（メタデータ） (2023-08-11T08:47:52Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Machine Learning Capability: A standardized metric using case difficulty
with applications to individualized deployment of supervised machine learning [2.2060666847121864]
モデル評価は教師付き機械学習分類解析において重要な要素である。
アイテム応答理論(IRT)と機械学習を用いたコンピュータ適応テスト(CAT)は、最終分類結果とは無関係にデータセットをベンチマークすることができる。
論文 参考訳（メタデータ） (2023-02-09T00:38:42Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous
Multi-GPU Servers [65.60007071024629]
本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。
本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
論文 参考訳（メタデータ） (2021-10-13T20:58:15Z) - Statistical model-based evaluation of neural networks [74.10854783437351]
ニューラルネットワーク(NN)の評価のための実験装置を開発する。
このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。
これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
論文 参考訳（メタデータ） (2020-11-18T00:33:24Z) - How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文 参考訳（メタデータ） (2020-10-19T21:46:39Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳（メタデータ） (2020-02-19T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。