論文の概要: Perseus: Removing Energy Bloat from Large Model Training

• arxiv url: http://arxiv.org/abs/2312.06902v1
• Date: Tue, 12 Dec 2023 00:16:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 17:46:49.854953
• Title: Perseus: Removing Energy Bloat from Large Model Training
• Title（参考訳）: Perseus:大規模モデルトレーニングからエネルギーの膨張を取り除く
• Authors: Jae-Won Chung, Yile Gu, Insu Jang, Luoxi Meng, Nikhil Bansal, Mosharaf Chowdhury
• Abstract要約: 多数のGPU上で大規模なAIモデルをトレーニングすることは、膨大なエネルギーを消費する。 大規模モデルトレーニング,内因性,外因性の2つの独立したエネルギー肥大源を同定した。 両機能を緩和する統一最適化フレームワークであるPerseusを提案する。
• 参考スコア（独自算出の注目度）: 6.504073450121544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large AI models on numerous GPUs consumes a massive amount of energy. We observe that not all energy consumed during training directly contributes to end-to-end training throughput, and a significant portion can be removed without slowing down training, which we call energy bloat. In this work, we identify two independent sources of energy bloat in large model training, intrinsic and extrinsic, and propose Perseus, a unified optimization framework that mitigates both. Perseus obtains the "iteration time-energy" Pareto frontier of any large model training job using an efficient iterative graph cut-based algorithm and schedules energy consumption of its forward and backward computations across time to remove intrinsic and extrinsic energy bloat. Evaluation on large models like GPT-3 and Bloom shows that Perseus reduces energy consumption of large model training by up to 30%, enabling savings otherwise unobtainable before.
• Abstract（参考訳）: 多数のGPU上で大規模なAIモデルをトレーニングすることは、膨大なエネルギーを消費する。 トレーニング中に消費されるすべてのエネルギーが、エンドツーエンドのトレーニングスループットに直接寄与する訳ではなく、トレーニングを遅くすることなく、かなりの部分を取り除くことができる。 本研究では,大規模モデルトレーニングにおける2つの独立したエネルギー肥大源を同定し,両者を緩和する統一最適化フレームワークPerseusを提案する。 perseusは、効率的な反復グラフカットベースのアルゴリズムを用いて、任意の大規模モデルのトレーニングジョブの「イテレーション時間エネルギー」パレートフロンティアを取得し、その前方および後方の計算のエネルギー消費を時間とともにスケジュールし、本質的および極端的なエネルギー塊を取り除く。 GPT-3やBloomのような大型モデルの評価では、Perseusは大規模なモデルトレーニングのエネルギー消費を最大30%削減する。

関連論文リスト

• Sustainable Supercomputing for AI: GPU Power Capping at HPC Scale [20.30679358575365]
  最近の大規模言語モデルは、トレーニングとデプロイにかなりのリソースを必要とする。 適切なパワーキャッピング量では、温度とパワードローの両方に顕著な低下が見られる。 私たちの研究は、スーパーコンピュータスケールでのGPUパワーキャッピングの効果を、初めて実施し、より詳細に分析したものです。
  論文  参考訳（メタデータ） (2024-02-25T02:22:34Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• Minimizing Energy Consumption of Deep Learning Models by Energy-Aware Training [26.438415753870917]
  モデル学習におけるエネルギー消費の削減を目的とした勾配に基づくアルゴリズムであるEATを提案する。 エネルギーを考慮したトレーニングアルゴリズムであるEATは、分類性能とエネルギー効率のトレードオフを良くしてネットワークをトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2023-07-01T15:44:01Z)
• FedZero: Leveraging Renewable Excess Energy in Federated Learning [4.741052304881078]
  Federated Learning(FL)は、データ共有なしでデータサイロやエッジデバイス間での分散モデルトレーニングを可能にする、新興の機械学習技術である。 FLのカーボンフットプリントを減らす1つのアイデアは、再生可能エネルギーの有効性に基づいてトレーニングジョブをスケジュールすることである。 本稿では,再生可能エネルギーと計算インフラの予備容量のみで動作するFLシステムであるFedZeroを提案する。
  論文  参考訳（メタデータ） (2023-05-24T12:17:30Z)
• Precise Energy Consumption Measurements of Heterogeneous Artificial Intelligence Workloads [0.534434568021034]
  本稿では,異なるタイプの計算ノード上でのディープラーニングモデルの典型的な2つの応用のエネルギー消費の測定を行う。 我々のアプローチの1つの利点は、スーパーコンピュータの全ユーザーがエネルギー消費に関する情報を利用できることである。
  論文  参考訳（メタデータ） (2022-12-03T21:40:55Z)
• E^2VTS: Energy-Efficient Video Text Spotting from Unmanned Aerial Vehicles [78.50123964690094]
  無人航空機(UAV)ベースのビデオテキストスポッティングは、民間や軍事領域で広く使われている。 提案手法は,エネルギ効率と性能の競合的なトレードオフを達成し,従来の方法よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-05T22:43:17Z)
• Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models [8.927248087602942]
  一般的なNLPアプリケーションのエネルギー消費を削減できる技術について検討する。 これらの手法は、訓練言語モデルや推論に使用する際のエネルギー消費を著しく減少させる可能性がある。
  論文  参考訳（メタデータ） (2022-05-19T16:03:55Z)
• Attention Mechanism with Energy-Friendly Operations [61.58748425876866]
  我々はエネルギー消費の観点から注意機構を再考する。 我々は、乗算を選択的操作または加算に置き換えることで、新しい注意モデルを構築する。 3つの機械翻訳タスクにおける実験結果から,提案手法が再現可能な精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-28T08:50:09Z)
• M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion Parameter Pretraining [55.16088793437898]
  極端なモデルのトレーニングには大量の計算とメモリフットプリントが必要です。 本稿では,高メモリフットプリント要求大モデルのための簡単なトレーニング戦略"Pseudo-to-Real"を提案する。
  論文  参考訳（メタデータ） (2021-10-08T04:24:51Z)
• Compute and Energy Consumption Trends in Deep Learning Inference [67.32875669386488]
  コンピュータビジョンと自然言語処理の分野における関連モデルについて検討する。 継続的な性能向上のために、これまで予想されていたよりもエネルギー消費の軟化が見られた。
  論文  参考訳（メタデータ） (2021-09-12T09:40:18Z)
• Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers [94.43313684188819]
  本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。 まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。 これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
  論文  参考訳（メタデータ） (2020-02-26T21:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。