論文の概要: An Analysis of Optimizer Choice on Energy Efficiency and Performance in Neural Network Training

• arxiv url: http://arxiv.org/abs/2509.13516v1
• Date: Tue, 16 Sep 2025 20:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.642243
• Title: An Analysis of Optimizer Choice on Energy Efficiency and Performance in Neural Network Training
• Title（参考訳）: ニューラルネットワーク学習におけるエネルギー効率と性能の最適化選択の分析
• Authors: Tom Almog,
• Abstract要約: 本稿では,ニューラルネットワーク学習における選択とエネルギー効率の関係を包括的に検討する。 8つの一般的なAdasを用いて,3つのベンチマークデータセット(MNIST, CIFAR-10, CIFAR-100)で360個の制御実験を行った。 この結果から,データセットやモデルの複雑さによって異なる,トレーニング速度,正確性,環境への影響のかなりのトレードオフが明らかになった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning models grow increasingly complex and computationally demanding, understanding the environmental impact of training decisions becomes critical for sustainable AI development. This paper presents a comprehensive empirical study investigating the relationship between optimizer choice and energy efficiency in neural network training. We conducted 360 controlled experiments across three benchmark datasets (MNIST, CIFAR-10, CIFAR-100) using eight popular optimizers (SGD, Adam, AdamW, RMSprop, Adagrad, Adadelta, Adamax, NAdam) with 15 random seeds each. Using CodeCarbon for precise energy tracking on Apple M1 Pro hardware, we measured training duration, peak memory usage, carbon dioxide emissions, and final model performance. Our findings reveal substantial trade-offs between training speed, accuracy, and environmental impact that vary across datasets and model complexity. We identify AdamW and NAdam as consistently efficient choices, while SGD demonstrates superior performance on complex datasets despite higher emissions. These results provide actionable insights for practitioners seeking to balance performance and sustainability in machine learning workflows.
• Abstract（参考訳）: 機械学習モデルはますます複雑で計算的に要求されるようになり、トレーニング決定の環境への影響を理解することは、持続可能なAI開発にとって重要である。 本稿では,ニューラルネットワークトレーニングにおける最適選択とエネルギー効率の関係について,総合的研究を行った。 我々は、SGD、Adam、AdamW、RMSprop、Adagrad、Adadelta、Adamax、NAdamの3つのベンチマークデータセット(MNIST、CIFAR-10、CIFAR-100)で、それぞれ15個のランダムシードを用いて、360個の制御実験を行った。 Apple M1 Proのハードウェア上での正確なエネルギー追跡にCodeCarbonを使用して、トレーニング期間、ピークメモリ使用量、二酸化炭素排出量、最終的なモデルパフォーマンスを測定しました。 この結果から,データセットやモデル複雑度によって異なる,トレーニング速度,正確性,環境影響のかなりのトレードオフが明らかになった。 我々はAdamWとNAdamを一貫した効率的な選択とみなし、SGDは高いエミッションにもかかわらず複雑なデータセット上で優れた性能を示す。 これらの結果は、機械学習ワークフローのパフォーマンスと持続可能性のバランスを求める実践者に対して、実用的な洞察を提供する。

関連論文リスト

• Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [61.145371212636505]
  強化学習(Reinforcement Learning, RL)は、試行錯誤と最適制御を通じてポリシーを学習し、学習または既知の力学モデルを用いてアクションを計画する。 異なる品質のデータセットを用いて、異なるRLおよび制御に基づく手法の性能を系統的に解析する。 モデルベースプランニングは,新しい環境レイアウト,トラジェクトリー縫合,データ効率などへの一般化に優れる。
  論文  参考訳（メタデータ） (2025-02-20T18:39:41Z)
• EXAdam: The Power of Adaptive Cross-Moments [0.0]
  本稿では,広く使用されているAdamアルゴリズムに基づく新しい最適化アルゴリズムであるEXAdamを紹介する。 EXAdamは、(1)モーメント推定を改善するための新しいデバイアス項と(2)勾配に基づく加速度メカニズムの2つの重要な拡張を取り入れている。 実験的な評価は、ExAdamがAdamよりも優れており、収束が38.46%速く、1.96%、2.17%、そして1.17%のトレーニング、検証、テストの精度が向上したことを示している。
  論文  参考訳（メタデータ） (2024-12-29T00:11:54Z)
• Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
  本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。 BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。 我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
  論文  参考訳（メタデータ） (2024-12-03T19:20:08Z)
• ssProp: Energy-Efficient Training for Convolutional Neural Networks with Scheduled Sparse Back Propagation [4.77407121905745]
  バックプロパゲーション(BP)は、ディープラーニングモデルをトレーニングする際の計算コストの主要な源泉である。 ディープラーニングアーキテクチャにシームレスに統合できる汎用的でエネルギー効率の良い畳み込みモジュールを提案する。
  論文  参考訳（メタデータ） (2024-08-22T17:22:59Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Uncovering Energy-Efficient Practices in Deep Learning Training: Preliminary Steps Towards Green AI [8.025202812165412]
  我々は、エネルギー消費を精度に等しい重要性の指標とみなし、無関係なタスクやエネルギー使用量を減らす。 持続可能性の観点から深層学習パイプラインの訓練段階について検討する。 ディープラーニングモデルをトレーニングするための革新的で有望なエネルギー効率のプラクティスを強調します。
  論文  参考訳（メタデータ） (2023-03-24T12:48:21Z)
• How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
  我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。 我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
  論文  参考訳（メタデータ） (2021-06-21T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。