論文の概要: Can Adjusting Hyperparameters Lead to Green Deep Learning: An Empirical Study on Correlations between Hyperparameters and Energy Consumption of Deep Learning Models

• arxiv url: http://arxiv.org/abs/2603.06195v1
• Date: Fri, 06 Mar 2026 12:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.591523
• Title: Can Adjusting Hyperparameters Lead to Green Deep Learning: An Empirical Study on Correlations between Hyperparameters and Energy Consumption of Deep Learning Models
• Title（参考訳）: ハイパーパラメータの調整はグリーンディープラーニングにつながる--ハイパーパラメータとディープラーニングモデルのエネルギー消費の相関に関する実証的研究
• Authors: Taoran Wang, Yanhui Li, Mingliang Ma, Lin Chen, Yuming Zhou,
• Abstract要約: 本稿では,Deep Learning(DL)モデルのエネルギーコストに及ぼすハイパーパラメータの影響に着目した。 元のモデルと変更したモデルを別々にトレーニングし、エネルギー情報と実行時のパフォーマンスメトリクスを収集します。 並列環境では、エネルギー消費は変化しやすくなります。
• 参考スコア（独自算出の注目度）: 11.512867515430058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context: Along with developing Deep learning (DL) models, larger datasets and more complex model structures are applied, leading to rising computing resources and energy consumption, which is an alert that green DL models should receive more attention. Objective: This paper focuses on a novel view to analyze DL energy consumption: the effect of hyperparameters on the energy cost of DL models. Method: Our approach involves using mutation operators to simulate how practitioners adjust hyperparameters, such as epochs and learning rates. We train the original and mutated models separately and gather energy information and run-time performance metrics. Moreover, we focus on the parallel scenario where multiple DL models are trained in parallel. Results: To examine the effect of hyperparameters on energy consumption, we conducted extensive experiments on five real-world DL models. The results show that (1) many hyperparameters studied have a (positive or negative) correlation with energy consumption, (2) adjusting hyperparameters can make DL models greener, i.e., lead to less energy consumption without performance damage, and (3) in a parallel environment, energy consumption becomes more susceptible to change. Conclusions: We suggest that hyperparameters need more attention in developing DL models, as appropriately adjusting hyperparameters would cause green DL models.
• Abstract（参考訳）: コンテキスト: ディープラーニング(DL)モデルの開発とともに、より大きなデータセットやより複雑なモデル構造が適用されます。 目的: 本論文は, DL のエネルギー消費を解析する新たな視点に焦点を当て, DL モデルのエネルギーコストに及ぼすハイパーパラメータの影響について述べる。 方法:本手法では突然変異演算子を用いて,エポックスや学習率などのハイパーパラメータの調整方法をシミュレートする。 オリジナルとミュートされたモデルを別々にトレーニングし、エネルギー情報と実行時のパフォーマンスメトリクスを収集します。 さらに,複数のDLモデルを並列にトレーニングする並列シナリオに注目した。 結果: エネルギー消費に及ぼすハイパーパラメータの影響を検討するため, 5つの実世界のDLモデルについて広範な実験を行った。 その結果,(1)高パラメータはエネルギー消費と(正あるいは負の)相関を持ち,(2)高パラメータの調整によりDLモデルがより緑くなり,(3)並列環境ではエネルギー消費が変化しやすくなることがわかった。 結論: ハイパーパラメータの適切な調整がグリーンDLモデルを引き起こすため, DLモデルの開発においてハイパーパラメータがより注意が必要であることを示唆する。

関連論文リスト

• Deep Learning in Renewable Energy Forecasting: A Cross-Dataset Evaluation of Temporal and Spatial Models [7.286091036139208]
  本研究は, 早期停止, ニューロン減少, L2正則化などの正規化アプローチを展開し, DLモデルに係わる過度適合問題を軽減した。 LSTMとモデルは優れた性能を示し、検証データは極端に低いルート平均二乗誤差値を示す。
  論文  参考訳（メタデータ） (2025-05-06T02:05:19Z)
• Green MLOps to Green GenOps: An Empirical Study of Energy Consumption in Discriminative and Generative AI Operations [2.2765705959685234]
  本研究では,実世界のMLOpsパイプラインにおける識別型および生成型AIモデルのエネルギー消費について検討する。 さまざまな構成、モデル、データセットにわたるレプリケーションの容易性を保証するために、ソフトウェアベースのパワー測定を採用しています。
  論文  参考訳（メタデータ） (2025-03-31T10:28:04Z)
• Renewable Energy Prediction: A Comparative Study of Deep Learning Models for Complex Dataset Analysis [6.857122511301731]
  ディープラーニング(DL)モデルは、再生可能エネルギーデータセットにおける複雑な非線形関係をキャプチャする。 7つの機械学習手法、LSTM, Stacked LSTM, CNN, CNN-LSTM, Time-Distributed Distributed (TD-MLP), Autoencoder (AE)を評価した。 オーバーフィッティングに対処するために、早期停止、ニューロンのドロップアウト、L1、L2の正規化といった規則化技術が適用される。
  論文  参考訳（メタデータ） (2025-01-27T02:10:10Z)
• Optimization Hyper-parameter Laws for Large Language Models [52.49860340549727]
  ハイパーパラメータとトレーニング結果の関係をキャプチャするフレームワークであるOps-Lawsを提案する。 さまざまなモデルサイズとデータスケールにわたる検証は、Opt-Lawsのトレーニング損失を正確に予測する能力を示しています。 このアプローチは、全体的なモデル性能を高めながら、計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-07T09:37:19Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• AutoRL Hyperparameter Landscapes [69.15927869840918]
  強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。 我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。 これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
  論文  参考訳（メタデータ） (2023-04-05T12:14:41Z)
• A Transistor Operations Model for Deep Learning Energy Consumption Scaling [14.856688747814912]
  深層学習(DL)は、幅広い産業の自動化を変革し、社会のユビキティを高めている。 DLモデルの複雑さの増大とその普及により、エネルギー消費は3～4ヶ月ごとに倍増した。 現在のFLOPとMACベースの手法は線形演算のみを考慮している。 DLモデル構成によるエネルギー消費のスケーリングにおける活性化関数とニューラルネットワーク構造の役割を明らかにするため,ボトムレベルトランジスタ操作(TOs)法を開発した。
  論文  参考訳（メタデータ） (2022-05-30T12:42:33Z)
• On the Sparsity of Neural Machine Translation Models [65.49762428553345]
  性能向上のために冗長パラメータを再利用できるかどうかを検討する。 実験と分析は異なるデータセットとNTTアーキテクチャで体系的に行われる。
  論文  参考訳（メタデータ） (2020-10-06T11:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。