Fugu-MT 論文翻訳(概要): Perseus: Reducing Energy Bloat in Large Model Training

論文の概要: Perseus: Reducing Energy Bloat in Large Model Training

arxiv url: http://arxiv.org/abs/2312.06902v2
Date: Wed, 14 Aug 2024 03:54:57 GMT
ステータス: 処理完了
システム内更新日: 2024-08-15 18:26:43.776694
Title: Perseus: Reducing Energy Bloat in Large Model Training
Title（参考訳）: Perseus:大規模モデルトレーニングにおけるエネルギー消費削減
Authors: Jae-Won Chung, Yile Gu, Insu Jang, Luoxi Meng, Nikhil Bansal, Mosharaf Chowdhury,
Abstract要約: 多数のGPU上で大規模なAIモデルをトレーニングすることは、膨大なエネルギーを消費する。本稿では,エネルギの肥大化とスループットの低下を緩和するトレーニングシステムPerseusを提案する。 P Perseusは、スループットの損失やハードウェアの変更なしに、大規模なモデルトレーニングのエネルギー消費を最大30%削減する。
参考スコア（独自算出の注目度）: 6.138143013019595
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training large AI models on numerous GPUs consumes a massive amount of energy, making power delivery one of the largest limiting factors in building and operating datacenters for AI workloads. However, we observe that not all energy consumed during training directly contributes to end-to-end throughput, and a significant portion can be removed without slowing down training, which we call energy bloat. In this work, we identify two independent sources of energy bloat in large model training and propose Perseus, a training system that mitigates both. To do this, Perseus obtains the "iteration time-energy" Pareto frontier of any large model training job using an efficient graph cut-based algorithm and schedules the energy consumption of computations across time to remove both types of energy bloat. Evaluation on large models including GPT-3 and Bloom shows that Perseus reduces the energy consumption of large model training by up to 30% without any throughput loss or hardware modification, enabling energy reduction -- and therefore cost savings -- otherwise unattainable before.
Abstract（参考訳）: 多数のGPU上で大規模なAIモデルをトレーニングすることは、大量のエネルギーを消費する。しかし、トレーニング中に消費されるすべてのエネルギーが、エンドツーエンドのスループットに直接寄与するわけではない。本研究では,大規模モデルトレーニングにおける2つの独立したエネルギー肥大源を特定し,両者を緩和するトレーニングシステムであるPerseusを提案する。これを実現するために、ペルセウスは効率的なグラフカットベースのアルゴリズムを用いて、任意の大きなモデルのトレーニング作業の「定時エネルギー」パレートフロンティアを取得し、時間をかけて計算のエネルギー消費をスケジュールし、両方の種類のエネルギー肥大を除去する。 GPT-3やBloomを含む大型モデルの評価によると、Perseusはスループットの低下やハードウェアの変更なしに、大規模なモデルのトレーニングのエネルギー消費を最大30%削減し、エネルギー削減を可能にする。

関連論文リスト

Sustainable Supercomputing for AI: GPU Power Capping at HPC Scale [20.30679358575365]
最近の大規模言語モデルは、トレーニングとデプロイにかなりのリソースを必要とする。適切なパワーキャッピング量では、温度とパワードローの両方に顕著な低下が見られる。私たちの研究は、スーパーコンピュータスケールでのGPUパワーキャッピングの効果を、初めて実施し、より詳細に分析したものです。
論文参考訳（メタデータ） (2024-02-25T02:22:34Z)
Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文参考訳（メタデータ） (2023-10-16T06:16:47Z)
Minimizing Energy Consumption of Deep Learning Models by Energy-Aware Training [26.438415753870917]
モデル学習におけるエネルギー消費の削減を目的とした勾配に基づくアルゴリズムであるEATを提案する。エネルギーを考慮したトレーニングアルゴリズムであるEATは、分類性能とエネルギー効率のトレードオフを良くしてネットワークをトレーニングできることを実証する。
論文参考訳（メタデータ） (2023-07-01T15:44:01Z)
FedZero: Leveraging Renewable Excess Energy in Federated Learning [4.741052304881078]
Federated Learning(FL)は、データ共有なしでデータサイロやエッジデバイス間での分散モデルトレーニングを可能にする、新興の機械学習技術である。 FLのカーボンフットプリントを減らす1つのアイデアは、再生可能エネルギーの有効性に基づいてトレーニングジョブをスケジュールすることである。本稿では,再生可能エネルギーと計算インフラの予備容量のみで動作するFLシステムであるFedZeroを提案する。
論文参考訳（メタデータ） (2023-05-24T12:17:30Z)
Precise Energy Consumption Measurements of Heterogeneous Artificial Intelligence Workloads [0.534434568021034]
本稿では,異なるタイプの計算ノード上でのディープラーニングモデルの典型的な2つの応用のエネルギー消費の測定を行う。我々のアプローチの1つの利点は、スーパーコンピュータの全ユーザーがエネルギー消費に関する情報を利用できることである。
論文参考訳（メタデータ） (2022-12-03T21:40:55Z)
E^2VTS: Energy-Efficient Video Text Spotting from Unmanned Aerial Vehicles [78.50123964690094]
無人航空機(UAV)ベースのビデオテキストスポッティングは、民間や軍事領域で広く使われている。提案手法は,エネルギ効率と性能の競合的なトレードオフを達成し,従来の方法よりも優れていた。
論文参考訳（メタデータ） (2022-06-05T22:43:17Z)
Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models [8.927248087602942]
一般的なNLPアプリケーションのエネルギー消費を削減できる技術について検討する。これらの手法は、訓練言語モデルや推論に使用する際のエネルギー消費を著しく減少させる可能性がある。
論文参考訳（メタデータ） (2022-05-19T16:03:55Z)
Attention Mechanism with Energy-Friendly Operations [61.58748425876866]
我々はエネルギー消費の観点から注意機構を再考する。我々は、乗算を選択的操作または加算に置き換えることで、新しい注意モデルを構築する。 3つの機械翻訳タスクにおける実験結果から,提案手法が再現可能な精度を実現することを示す。
論文参考訳（メタデータ） (2022-04-28T08:50:09Z)
M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion Parameter Pretraining [55.16088793437898]
極端なモデルのトレーニングには大量の計算とメモリフットプリントが必要です。本稿では,高メモリフットプリント要求大モデルのための簡単なトレーニング戦略"Pseudo-to-Real"を提案する。
論文参考訳（メタデータ） (2021-10-08T04:24:51Z)
Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
論文参考訳（メタデータ） (2021-09-12T09:40:18Z)
Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers [94.43313684188819]
本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
論文参考訳（メタデータ） (2020-02-26T21:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。