論文の概要: How to Train a Model on a Cheap Cluster with Low Cost using Block Coordinate Descent

• arxiv url: http://arxiv.org/abs/2506.12037v1
• Date: Fri, 23 May 2025 03:05:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.597492
• Title: How to Train a Model on a Cheap Cluster with Low Cost using Block Coordinate Descent
• Title（参考訳）: Block Coordinate Descent を用いた低コストチープクラスタ上でのモデルトレーニング方法
• Authors: Zeyu Liu, Yunquan Zhang, Boyang Zhang, Guoyong Jiang, Daning Cheng,
• Abstract要約: 大きな言語モデルのトレーニングには、大規模なメモリと相当な財政的投資が必要であり、これは多くの中小規模チームにとって障壁となる。 エンジニアリング最適化によって強化されたブロック座標降下(DBC)に基づく,高コストな4090GPUクラスタ上で大規模モデルを効率的にトレーニングするための,フルエンタブルな事前トレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.656447422471792
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Training large language models typically demands extensive GPU memory and substantial financial investment, which poses a barrier for many small- to medium-sized teams. In this paper, we present a full-parameter pre-training framework based on block coordinate descent (BCD), augmented with engineering optimizations, to efficiently train large models on affordable RTX 4090 GPU clusters. BCD ensures model convergence based on block coordinate descent theory and performs gradient computation and update at the level of parameter blocks. Experiments show that 1) Lower cost of Same-Device: BCD significantly reduces pre-training cost. For the 7B model, under identical hardware settings, BCD lowers training costs to approximately 33% on A100,A800 clusters on 7B model averagely and to approximately 2.6% on RTX 4090 clusters on 7B model, compared to traditional full-parameter training. 2) Cross-Device Transfer: By leveraging BCD, large-scale models previously trainable only on high-end A100 clusters can be seamlessly migrated and pre-trained on 4090 clusters-whose hourly cost is only one-quarter that of A100-without requiring expensive hardware. 3) Accuracy Retention: In both scenarios, BCD training achieves the same level of model accuracy as full-parameter pre-training.
• Abstract（参考訳）: 大きな言語モデルのトレーニングは通常、広範囲のGPUメモリと相当な資金投資を必要とし、これは多くの小規模から中規模のチームにとって障壁となる。 本稿では,ブロック座標降下(BCD)に基づく全パラメータ事前学習フレームワークを提案する。 BCDはブロック座標降下理論に基づいてモデル収束を保証し、パラメータブロックのレベルで勾配計算と更新を行う。 実験では 1) 同一デバイスコストの低減: BCD は事前トレーニングコストを著しく削減する。 7Bモデルのトレーニングコストは7BモデルのA100,A800クラスタで約33%、RTX 4090クラスタで約2.6%に低下する。 2) クロスデバイス転送: BCDを活用することで,従来はハイエンドのA100クラスタのみにトレーニング可能な大規模モデルを,4090クラスタ上でシームレスに移行および事前トレーニングすることが可能になります。 3) 正確性保持: どちらのシナリオでも,BCDトレーニングは全パラメータ事前トレーニングと同じレベルのモデル精度を達成する。

関連論文リスト

• NoLoCo: No-all-reduce Low Communication Training Method for Large Models [0.310688583550805]
  大規模言語モデルのトレーニングは、一般的に数万のアクセラレータを含むクラスタ上で最適化手法によって行われる。 NoLoCoは、モデルウェイトをランダムに選択された他のウェイトと部分的に平均化することで、Nesterov運動量の新しい変種を介してモデルウェイトを暗黙的に同期させる。 提案手法は, 完全シャードデータ並列訓練や, 広範に使用されている低通信訓練であるDiLoCoよりも通信オーバーヘッドをはるかに少なくする。
  論文  参考訳（メタデータ） (2025-06-12T17:23:23Z)
• A Multi-Level Framework for Accelerating Training Transformer Models [5.268960238774481]
  大規模ディープラーニングモデルの訓練は、コンピューティングパワーに対する前例のない需要をもたらしている。 本稿では,Coalescing, De-Coalescing, Interpolation に基づく,加速度のトレーニングのためのマルチレベルフレームワークを提案する。 提案手法は,BERT/GPT-Baseモデルのトレーニングにおいて約20%,BERT-Largeモデルのトレーニングにおいて最大51.6%のコスト削減を実現する。
  論文  参考訳（メタデータ） (2024-04-07T03:04:34Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• Scavenger: A Cloud Service for Optimizing Cost and Performance of ML Training [1.047192732651018]
  我々は,クラウド上での分散MLモデルトレーニングのトレーニング時間とコストを最適化するための,原則的かつ実用的な手法を開発した。 従来の並列スケーリングの概念とSGDノイズに対する新たな洞察を組み合わせることで,クラスタ構成の異なる時間とコストを5%の誤差で正確に推定する。
  論文  参考訳（メタデータ） (2023-03-12T13:42:39Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints [59.39280540478479]
  密なチェックポイントから疎活性化されたMixture-of-Expertsモデルを初期化することにより、サンクトレーニングコストを再利用する簡単な方法であるスパースアップサイクリングを提案する。 我々は, 比較的高サイクルなT5 Base, Large, XL言語モデル, Vision Transformer Base と Large モデルが, SuperGLUE と ImageNet の高密度モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-09T18:57:37Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。