論文の概要: Great Power, Great Responsibility: Recommendations for Reducing Energy
for Training Language Models
- arxiv url: http://arxiv.org/abs/2205.09646v1
- Date: Thu, 19 May 2022 16:03:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 12:09:05.201889
- Title: Great Power, Great Responsibility: Recommendations for Reducing Energy
for Training Language Models
- Title（参考訳）: 偉大なパワーと大きな責任: 言語モデルのトレーニングのためのエネルギー削減の推奨
- Authors: Joseph McDonald, Baolin Li, Nathan Frey, Devesh Tiwari, Vijay
Gadepally, Siddharth Samsi
- Abstract要約: 一般的なNLPアプリケーションのエネルギー消費を削減できる技術について検討する。
これらの手法は、訓練言語モデルや推論に使用する際のエネルギー消費を著しく減少させる可能性がある。
- 参考スコア（独自算出の注目度）: 8.927248087602942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The energy requirements of current natural language processing models
continue to grow at a rapid, unsustainable pace. Recent works highlighting this
problem conclude there is an urgent need for methods that reduce the energy
needs of NLP and machine learning more broadly. In this article, we investigate
techniques that can be used to reduce the energy consumption of common NLP
applications. In particular, we focus on techniques to measure energy usage and
different hardware and datacenter-oriented settings that can be tuned to reduce
energy consumption for training and inference for language models. We
characterize the impact of these settings on metrics such as computational
performance and energy consumption through experiments conducted on a high
performance computing system as well as popular cloud computing platforms.
These techniques can lead to significant reduction in energy consumption when
training language models or their use for inference. For example,
power-capping, which limits the maximum power a GPU can consume, can enable a
15\% decrease in energy usage with marginal increase in overall computation
time when training a transformer-based language model.
- Abstract（参考訳）: 現在の自然言語処理モデルのエネルギー要求は、迅速かつ持続不可能なペースで成長を続けている。
この問題を浮き彫りにする最近の研究は、NLPと機械学習のエネルギー需要をより広く削減する手法が緊急に必要であると結論付けている。
本稿では,一般的なNLPアプリケーションのエネルギー消費を削減できる技術について検討する。
特に、トレーニングや言語モデルの推論のためのエネルギー消費を減らすために調整可能な、エネルギー使用量を測定する技術と、異なるハードウェアおよびデータセンター指向の設定に焦点を当てる。
我々は,これらの設定が計算性能やエネルギー消費などの指標に与える影響を,高性能コンピューティングシステムと一般的なクラウドコンピューティングプラットフォームで行った実験を通じて特徴づける。
これらの手法は、訓練言語モデルや推論に使用する際のエネルギー消費を著しく減少させる可能性がある。
例えば、GPUが消費する最大電力を制限するパワーキャッピングは、トランスフォーマーベースの言語モデルをトレーニングする際の計算時間全体の限界増加とともに、エネルギー使用量の15倍の削減を可能にする。
関連論文リスト
- Towards Physical Plausibility in Neuroevolution Systems [0.276240219662896]
人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用の増加は、トレーニングや推論における消費電力を増加させている。
本研究は機械学習(ML)におけるエネルギー消費の増大問題に対処する。
電力使用量をわずかに削減しても、大幅な省エネ、ユーザ、企業、環境に恩恵をもたらす可能性がある。
論文 参考訳（メタデータ） (2024-01-31T10:54:34Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳（メタデータ） (2023-08-27T03:55:28Z) - Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A
Multi-Agent Reinforcement Learning Approach [48.18355658448509]
生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。
地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。
本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-17T02:12:30Z) - Energy Transformer [64.22957136952725]
我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。
本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-02-14T18:51:22Z) - Precise Energy Consumption Measurements of Heterogeneous Artificial
Intelligence Workloads [0.534434568021034]
本稿では,異なるタイプの計算ノード上でのディープラーニングモデルの典型的な2つの応用のエネルギー消費の測定を行う。
我々のアプローチの1つの利点は、スーパーコンピュータの全ユーザーがエネルギー消費に関する情報を利用できることである。
論文 参考訳（メタデータ） (2022-12-03T21:40:55Z) - Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。
継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
論文 参考訳（メタデータ） (2021-09-12T09:40:18Z) - Full-Cycle Energy Consumption Benchmark for Low-Carbon Computer Vision [31.781943982148025]
我々は,効率的なコンピュータビジョンモデルのための最初の大規模エネルギー消費ベンチマークを示す。
モデル利用強度の異なる全サイクルエネルギー消費を明示的に評価するための新しい指標を提案する。
論文 参考訳（メタデータ） (2021-08-30T18:22:36Z) - EnergyVis: Interactively Tracking and Exploring Energy Consumption for
ML Models [8.939420322774243]
EnergyVisは機械学習(ML)モデルのためのインタラクティブなエネルギー消費トラッカーです。
研究者は、重要なエネルギー消費と炭素フットプリントのメトリクス間で、モデルエネルギー消費をインタラクティブに追跡、可視化、比較することができる。
EnergyVisは、モデルトレーニング中に過剰なエネルギー使用量をインタラクティブに強調することで、計算持続可能性に関する意識向上を目指しています。
論文 参考訳（メタデータ） (2021-03-30T15:33:43Z) - Resource-Constrained On-Device Learning by Dynamic Averaging [7.720999661966942]
データ生成デバイス間の通信は、部分的に世界の電力消費の増大の原因となっている。
機械学習では、デバイス上での学習は生データの送信を回避し、通信を大幅に削減する。
本稿では,低消費電力プロセッサ上で実行された整数指数族に対する通信効率のよいオンデバイス学習へのアプローチについて検討する。
論文 参考訳（メタデータ） (2020-09-25T09:29:10Z) - HULK: An Energy Efficiency Benchmark Platform for Responsible Natural
Language Processing [76.38975568873765]
本稿では,自然言語処理のためのマルチタスクエネルギー効率ベンチマークプラットフォームであるHULKを紹介する。
我々は、事前訓練されたモデルのエネルギー効率を時間とコストの観点から比較する。
論文 参考訳（メタデータ） (2020-02-14T01:04:19Z) - Towards the Systematic Reporting of the Energy and Carbon Footprints of
Machine Learning [68.37641996188133]
我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。
エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。
炭素排出量削減とエネルギー消費削減のための戦略を提案する。
論文 参考訳（メタデータ） (2020-01-31T05:12:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。