論文の概要: Optimizing Large Model Training through Overlapped Activation Recomputation

• arxiv url: http://arxiv.org/abs/2406.08756v3
• Date: Thu, 27 Mar 2025 08:52:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:48:33.732810
• Title: Optimizing Large Model Training through Overlapped Activation Recomputation
• Title（参考訳）: オーバーラップされたアクティベーション再計算による大規模モデルトレーニングの最適化
• Authors: Ping Chen, Wenjie Zhang, Shuibing He, Weijian Chen, Siling Yang, Kexin Huang, Yanlong Yin, Xuan Zhan, Yingjie Gu, Zhuwei Peng, Yi Zheng, Zhefeng Wang, Gang Chen Yingjie Gu, Zhuwei Peng, Kexin Huang, Xuan Zhan, Weijian Chen, Yi Zheng, Zhefeng Wang, Yanlong Yin, Gang Chen,
• Abstract要約: 我々は、トレーニングパイプラインにおける通信と重複する再計算によってオーバーヘッドを削減する新しい再計算フレームワークであるLynxを紹介する。 1.3B-23Bパラメータを持つGPTモデルによる包括的評価の結果,Lynxは既存の再計算手法よりも1.37倍高い性能を示した。
• 参考スコア（独自算出の注目度）: 33.28621547911239
• License:
• Abstract: Large model training often uses recomputation to alleviate memory pressure and pipelines to exploit the parallelism of data, tensors, and devices. However, existing recomputation approaches may incur high overhead when training real-world models, as they are executed on demand in the critical training path. In this paper, we present Lynx, a new recomputation framework to reduce overhead by overlapping recomputation with communication in training pipelines. To reduce the large search space for recomputation strategies, we propose a heuristic-based recomputation scheduling algorithm, which is based on the observation that there are identical structures in large DNN models so that we can apply the same scheduling policy to all such structures. Additionally, we propose a recomputation-aware model partitioning method to balance each stage's execution time for improved training throughput. Our comprehensive evaluation using GPT models with 1.3B-23B parameters shows that Lynx outperforms existing recomputation approaches by up to 1.37x.
• Abstract（参考訳）: 大規模なモデルトレーニングは、しばしばデータ、テンソル、デバイスの並列性を利用するために、メモリ圧力とパイプラインを緩和するために再計算を使用する。 しかし、既存の再計算アプローチは、クリティカルトレーニングパスで要求に応じて実行されるため、実世界のモデルをトレーニングする際に高いオーバーヘッドを引き起こす可能性がある。 本稿では、トレーニングパイプラインにおける通信と重複する再計算によりオーバーヘッドを削減する新しい再計算フレームワークであるLynxを提案する。 そこで本研究では,大規模DNNモデルに同一構造が存在するという観測結果を基にした,ヒューリスティックな再計算スケジューリングアルゴリズムを提案する。 さらに、トレーニングスループットを向上させるために、各ステージの実行時間のバランスをとるための再計算対応モデル分割手法を提案する。 1.3B-23Bパラメータを持つGPTモデルによる包括的評価の結果,Lynxは既存の再計算手法よりも1.37倍高い性能を示した。

関連論文リスト

• Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters [24.845122459974466]
  本稿では,A-SRPT(Adaptive Shortest-Remaining-Time-first)スケジューリングアルゴリズムを提案する。 ヘテロジニアスディープニューラルネットワーク(DNN)モデルに対応するグラフとして各ジョブをモデル化することにより、A-SRPTはジョブを利用可能なGPUに戦略的に割り当てる。 A-SRPTは複雑なスケジューリング問題を単一マシンのインスタンスにマッピングし、プリエンプティブな "shortest-remaining-processing-time-first" 戦略によって最適に対処する。
  論文  参考訳（メタデータ） (2025-01-09T20:19:01Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Stabilizing Subject Transfer in EEG Classification with Divergence Estimation [17.924276728038304]
  脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。 理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。 我々は、これらの関係を2段階で強制する正規化罰則を設計する。
  論文  参考訳（メタデータ） (2023-10-12T23:06:52Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• DPTDR: Deep Prompt Tuning for Dense Passage Retrieval [53.217524851268216]
  ディーププロンプトチューニング(DPT)は多くの自然言語処理(NLP)タスクで大きな成功を収めている。 しかし、微細チューニング(FT)が依然として支配的な高密度検索においては、十分に解明されていない。 本稿では,DPTに基づく検索手法,すなわち検索指向の中間事前学習と統合負のマイニングの2つのモデル非依存型およびタスク非依存型戦略を提案する。
  論文  参考訳（メタデータ） (2022-08-24T12:55:00Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。