論文の概要: Energy Considerations for Large Pretrained Neural Networks

• arxiv url: http://arxiv.org/abs/2506.01311v1
• Date: Mon, 02 Jun 2025 04:39:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.03249
• Title: Energy Considerations for Large Pretrained Neural Networks
• Title（参考訳）: 大規模事前学習型ニューラルネットワークのエネルギー的考察
• Authors: Leo Mei, Mark Stamp,
• Abstract要約: 複雑なニューラルネットワークアーキテクチャは、大量の電気を消費する膨大な計算資源を必要とする。 これまでの研究は主にモデル圧縮に重点を置いてきたが、モデルの性能は同等だった。 圧縮モデルと非圧縮モデルの両方に関連するエネルギー使用量を定量化することにより、電力消費を減らす手段として圧縮について検討する。 プルーニングと低ランク因数分解はエネルギー使用量や他の関連する統計に関して有意な改善を示さないが、ステガノグラフィー容量の削減は、ほぼすべてのケースにおいて大きなメリットをもたらす。
• 参考スコア（独自算出の注目度）: 1.3812010983144798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Increasingly complex neural network architectures have achieved phenomenal performance. However, these complex models require massive computational resources that consume substantial amounts of electricity, which highlights the potential environmental impact of such models. Previous studies have demonstrated that substantial redundancies exist in large pre-trained models. However, previous work has primarily focused on compressing models while retaining comparable model performance, and the direct impact on electricity consumption appears to have received relatively little attention. By quantifying the energy usage associated with both uncompressed and compressed models, we investigate compression as a means of reducing electricity consumption. We consider nine different pre-trained models, ranging in size from 8M parameters to 138M parameters. To establish a baseline, we first train each model without compression and record the electricity usage and time required during training, along with other relevant statistics. We then apply three compression techniques: Steganographic capacity reduction, pruning, and low-rank factorization. In each of the resulting cases, we again measure the electricity usage, training time, model accuracy, and so on. We find that pruning and low-rank factorization offer no significant improvements with respect to energy usage or other related statistics, while steganographic capacity reduction provides major benefits in almost every case. We discuss the significance of these findings.
• Abstract（参考訳）: 複雑なニューラルネットワークアーキテクチャは、驚異的なパフォーマンスを実現している。 しかし、これらの複雑なモデルには大量の電気を消費する膨大な計算資源が必要であり、そのようなモデルが潜在的に環境に与える影響を浮き彫りにする。 以前の研究では、大きな事前訓練されたモデルにかなりの冗長性が存在することが示されている。 しかし、従来の研究はモデルの性能を同等に保ちながらモデルを圧縮することに重点を置いており、電力消費への直接的な影響は比較的少なかったようである。 圧縮されていないモデルと圧縮されたモデルの両方に関連するエネルギー使用量を定量化することにより、電力消費を減らす手段として圧縮について検討する。 我々は,8Mパラメータから138Mパラメータまで,9種類の事前学習モデルを検討する。 ベースラインを確立するために,まず各モデルを圧縮せずに訓練し,トレーニングに必要な電力使用量と時間を記録する。 次に, ステレオキャパシティ低減, プルーニング, 低ランク因子化という3つの圧縮手法を適用した。 それぞれのケースにおいて、電気使用量、トレーニング時間、モデルの精度等を再び測定する。 プルーニングと低ランク因数分解はエネルギー使用量や他の関連する統計に関して有意な改善を示さないが、ステガノグラフィー容量の削減は、ほぼすべてのケースにおいて大きなメリットをもたらす。 これらの発見の意義について論じる。

関連論文リスト

• Towards Physical Plausibility in Neuroevolution Systems [0.276240219662896]
  人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用の増加は、トレーニングや推論における消費電力を増加させている。 本研究は機械学習(ML)におけるエネルギー消費の増大問題に対処する。 電力使用量をわずかに削減しても、大幅な省エネ、ユーザ、企業、環境に恩恵をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-01-31T10:54:34Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• Batching for Green AI -- An Exploratory Study on Inference [8.025202812165412]
  5つの完全学習ニューラルネットワークのエネルギー消費と応答時間に及ぼす入力の影響について検討した。 一般的にエネルギー消費は、精度よりもはるかに急激なペースで増加し、この進化の必要性に疑問が呈される。
  論文  参考訳（メタデータ） (2023-07-21T08:55:23Z)
• How to use model architecture and training environment to estimate the energy consumption of DL training [5.190998244098203]
  本研究は,Deep Learning Trainingにおけるエネルギー消費と2つの関連する設計決定との関係を活用することを目的とする。 本研究では, トレーニングの消費電力特性について検討し, 4つの新しいエネルギー推定法を提案する。 その結果、適切なモデルアーキテクチャとトレーニング環境を選択することで、エネルギー消費を劇的に削減できることがわかった。
  論文  参考訳（メタデータ） (2023-07-07T12:07:59Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。