論文の概要: Efficient Distributed Training via Dual Batch Sizes and Cyclic Progressive Learning

• arxiv url: http://arxiv.org/abs/2509.26092v1
• Date: Tue, 30 Sep 2025 11:10:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.515071
• Title: Efficient Distributed Training via Dual Batch Sizes and Cyclic Progressive Learning
• Title（参考訳）: デュアルバッチサイズとサイクルプログレッシブラーニングによる効率的な分散トレーニング
• Authors: Kuan-Wei Lu, Ding-Yong Hong, Pangfeng Liu, Jan-Jan Wu,
• Abstract要約: バッチサイズが大きいと、一般化が不十分なため、精度が低下する可能性がある。 本稿では,パラメータサーバフレームワーク上に構築された分散学習手法である,二重バッチサイズ学習方式を提案する。 二重バッチサイズ学習による時間オーバーヘッドを軽減するため,循環進行学習方式を提案する。
• 参考スコア（独自算出の注目度）: 1.084959821967413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed machine learning is critical for training deep learning models on large datasets and with numerous parameters. Current research primarily focuses on leveraging additional hardware resources and powerful computing units to accelerate the training process. As a result, larger batch sizes are often employed to speed up training. However, training with large batch sizes can lead to lower accuracy due to poor generalization. To address this issue, we propose the dual batch size learning scheme, a distributed training method built on the parameter server framework. This approach maximizes training efficiency by utilizing the largest batch size that the hardware can support while incorporating a smaller batch size to enhance model generalization. By using two different batch sizes simultaneously, this method reduces testing loss and enhances generalization, with minimal extra training time. Additionally, to mitigate the time overhead caused by dual batch size learning, we propose the cyclic progressive learning scheme. This technique gradually adjusts image resolution from low to high during training, significantly boosting training speed. By combining cyclic progressive learning with dual batch size learning, our hybrid approach improves both model generalization and training efficiency. Experimental results using ResNet-18 show that, compared to conventional training methods, our method can improve accuracy by 3.3% while reducing training time by 10.6% on CIFAR-100, and improve accuracy by 0.1% while reducing training time by 35.7% on ImageNet.
• Abstract（参考訳）: 分散機械学習は、大規模なデータセットと多数のパラメータを持つディープラーニングモデルのトレーニングに不可欠である。 現在の研究は主に、トレーニングプロセスを加速するために、追加のハードウェアリソースと強力なコンピューティングユニットを活用することに焦点を当てている。 結果として、トレーニングをスピードアップするために、より大きなバッチサイズが使用されることが多い。 しかし、バッチサイズが大きいトレーニングでは、一般化が不十分なため、精度が低下する可能性がある。 この問題に対処するために,パラメータサーバフレームワーク上に構築された分散トレーニング手法である,二重バッチサイズ学習方式を提案する。 このアプローチは、ハードウェアがサポートする最大のバッチサイズを活用しながら、より小さなバッチサイズを組み込んでモデル一般化を強化することにより、トレーニング効率を最大化する。 2つの異なるバッチサイズを同時に使用することにより、テスト損失を低減し、最小限のトレーニング時間で一般化を促進する。 さらに,2つのバッチサイズ学習による時間オーバーヘッドを軽減するために,循環進行学習方式を提案する。 この技術は、トレーニング中に画像解像度を徐々に低から高に調整し、トレーニング速度を大幅に向上させる。 循環的漸進学習と二重バッチサイズ学習を組み合わせることで、我々のハイブリッドアプローチはモデル一般化とトレーニング効率の両方を改善します。 ResNet-18を用いた実験の結果,従来のトレーニング手法と比較して,CIFAR-100ではトレーニング時間を10.6%削減し,ImageNetではトレーニング時間を35.7%短縮し,精度を0.1%向上できることがわかった。

関連論文リスト

• Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [43.26615926465987]
  本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。 我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
  論文  参考訳（メタデータ） (2024-01-12T21:32:04Z)
• Q-Ensemble for Offline RL: Don't Scale the Ensemble, Scale the Batch Size [58.762959061522736]
  学習速度を適切に調整したミニバッチサイズをスケールすることで、トレーニングプロセスを桁違いに高速化できることを示す。 そこで本研究では,(1)Qアンサンブルの縮小,(2)分配行動の厳格化,(3)収束時間の改善など,ミニバッチサイズを拡大し,学習率を経時的に調整できることを示す。
  論文  参考訳（メタデータ） (2022-11-20T21:48:25Z)
• Efficient and Effective Augmentation Strategy for Adversarial Training [48.735220353660324]
  ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。 本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-10-27T10:59:55Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Curriculum Learning: A Regularization Method for Efficient and Stable Billion-Scale GPT Model Pre-Training [18.640076155697415]
  本稿では,自己回帰モデルによる事前学習の収束速度の向上を支援するカリキュラム学習に基づく手法を提案する。 評価の結果,カリキュラム学習により,バッチサイズが8倍,学習速度が4倍のGPT-2モデルを学習できることがわかった。
  論文  参考訳（メタデータ） (2021-08-13T06:32:53Z)
• Automated Learning Rate Scheduler for Large-batch Training [24.20872850681828]
  大規模バッチトレーニングは、ディープラーニングにおける大規模データセットとモデルを活用する上で不可欠である。 小規模なバッチトレーニングと同等のパフォーマンスを達成するために、特別に設計された学習率(LR)スケジュールを必要とすることが多い。 本稿では,ニューラルネットワークのトレーニングに有効なLR自動スケジューリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-13T05:23:13Z)
• Concurrent Adversarial Learning for Large-Batch Training [83.55868483681748]
  逆学習は、決定面を滑らかにし、平坦な領域に偏りを付けるための自然な選択である。 本稿では,安定パラメータを用いて,逐次勾配計算を分離するConcurrent Adversarial Learning(ConAdv)手法を提案する。 これは、ResNet-50トレーニングバッチサイズを96Kにスケールする最初の作業である。
  論文  参考訳（メタデータ） (2021-06-01T04:26:02Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)
• Accelerated Large Batch Optimization of BERT Pretraining in 54 minutes [9.213729275749452]
  そこで本研究では,大規模ミニバッチの学習効率を向上させるため,LANSと呼ばれる高速化勾配法を提案する。 192のAWS EC2 P3dn.24xlargeインスタンスで54分かかり、SQuAD v1.1で目標F1スコアが90.5以上に達する。
  論文  参考訳（メタデータ） (2020-06-24T05:00:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。