論文の概要: Hybrid Dual-Batch and Cyclic Progressive Learning for Efficient Distributed Training

• arxiv url: http://arxiv.org/abs/2509.26092v2
• Date: Fri, 31 Oct 2025 07:41:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 15:46:17.564758
• Title: Hybrid Dual-Batch and Cyclic Progressive Learning for Efficient Distributed Training
• Title（参考訳）: 効率的な分散トレーニングのためのハイブリッドデュアルバッチとサイクルプログレッシブラーニング
• Authors: Kuan-Wei Lu, Ding-Yong Hong, Pangfeng Liu, Jan-Jan Wu,
• Abstract要約: ResNet-18による実験結果から,従来のトレーニング手法に比べて精度が3.3%向上したことが示された。 循環的漸進学習とデュアルバッチ学習を組み合わせることで、モデル一般化とトレーニング効率の両方を改善することができる。
• 参考スコア（独自算出の注目度）: 1.084959821967413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed machine learning is critical for training deep learning models on large datasets with numerous parameters. Current research primarily focuses on leveraging additional hardware resources and powerful computing units to accelerate the training process. As a result, larger batch sizes are often employed to speed up training. However, training with large batch sizes can lead to lower accuracy due to poor generalization. To address this issue, we propose the dual-batch learning scheme, a distributed training method built on the parameter server framework. This approach maximizes training efficiency by utilizing the largest batch size that the hardware can support while incorporating a smaller batch size to enhance model generalization. By using two different batch sizes simultaneously, this method improves accuracy with minimal additional training time. Additionally, to mitigate the time overhead caused by dual-batch learning, we propose the cyclic progressive learning scheme. This technique repeatedly and gradually increases image resolution from low to high during training, thereby reducing training time. By combining cyclic progressive learning with dual-batch learning, our hybrid approach improves both model generalization and training efficiency. Experimental results with ResNet-18 demonstrate that, compared to conventional training methods, our approach improves accuracy by 3.3% while reducing training time by 10.1% on CIFAR-100, and further achieves a 34.8% reduction in training time on ImageNet.
• Abstract（参考訳）: 分散機械学習は、多数のパラメータを持つ大規模なデータセットでディープラーニングモデルをトレーニングするために重要である。 現在の研究は主に、トレーニングプロセスを加速するために、追加のハードウェアリソースと強力なコンピューティングユニットを活用することに焦点を当てている。 結果として、トレーニングをスピードアップするために、より大きなバッチサイズが使用されることが多い。 しかし、バッチサイズが大きいトレーニングでは、一般化が不十分なため、精度が低下する可能性がある。 この問題に対処するために,パラメータサーバフレームワーク上に構築された分散トレーニング手法であるデュアルバッチ学習方式を提案する。 このアプローチは、ハードウェアがサポートする最大のバッチサイズを活用しながら、より小さなバッチサイズを組み込んでモデル一般化を強化することにより、トレーニング効率を最大化する。 2つの異なるバッチサイズを同時に使用することにより、最小限のトレーニング時間で精度を向上させることができる。 さらに,デュアルバッチ学習による時間オーバーヘッドを軽減するために,循環進行学習方式を提案する。 この技術は、トレーニング中に低解像度から高解像度に繰り返し、徐々に画像の解像度を高め、トレーニング時間を短縮する。 循環的漸進学習とデュアルバッチ学習を組み合わせることで、モデル一般化とトレーニング効率の両方を改善することができる。 ResNet-18の実験結果から,従来のトレーニング手法と比較して,CIFAR-100のトレーニング時間を10.1%削減した上で,3.3%の精度向上を実現し,さらに画像Netのトレーニング時間を34.8%削減した。

関連論文リスト

• Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [43.26615926465987]
  本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。 我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
  論文  参考訳（メタデータ） (2024-01-12T21:32:04Z)
• Q-Ensemble for Offline RL: Don't Scale the Ensemble, Scale the Batch Size [58.762959061522736]
  学習速度を適切に調整したミニバッチサイズをスケールすることで、トレーニングプロセスを桁違いに高速化できることを示す。 そこで本研究では,(1)Qアンサンブルの縮小,(2)分配行動の厳格化,(3)収束時間の改善など,ミニバッチサイズを拡大し,学習率を経時的に調整できることを示す。
  論文  参考訳（メタデータ） (2022-11-20T21:48:25Z)
• Efficient and Effective Augmentation Strategy for Adversarial Training [48.735220353660324]
  ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。 本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-10-27T10:59:55Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Curriculum Learning: A Regularization Method for Efficient and Stable Billion-Scale GPT Model Pre-Training [18.640076155697415]
  本稿では,自己回帰モデルによる事前学習の収束速度の向上を支援するカリキュラム学習に基づく手法を提案する。 評価の結果,カリキュラム学習により,バッチサイズが8倍,学習速度が4倍のGPT-2モデルを学習できることがわかった。
  論文  参考訳（メタデータ） (2021-08-13T06:32:53Z)
• Automated Learning Rate Scheduler for Large-batch Training [24.20872850681828]
  大規模バッチトレーニングは、ディープラーニングにおける大規模データセットとモデルを活用する上で不可欠である。 小規模なバッチトレーニングと同等のパフォーマンスを達成するために、特別に設計された学習率(LR)スケジュールを必要とすることが多い。 本稿では,ニューラルネットワークのトレーニングに有効なLR自動スケジューリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-13T05:23:13Z)
• Concurrent Adversarial Learning for Large-Batch Training [83.55868483681748]
  逆学習は、決定面を滑らかにし、平坦な領域に偏りを付けるための自然な選択である。 本稿では,安定パラメータを用いて,逐次勾配計算を分離するConcurrent Adversarial Learning(ConAdv)手法を提案する。 これは、ResNet-50トレーニングバッチサイズを96Kにスケールする最初の作業である。
  論文  参考訳（メタデータ） (2021-06-01T04:26:02Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)
• Accelerated Large Batch Optimization of BERT Pretraining in 54 minutes [9.213729275749452]
  そこで本研究では,大規模ミニバッチの学習効率を向上させるため,LANSと呼ばれる高速化勾配法を提案する。 192のAWS EC2 P3dn.24xlargeインスタンスで54分かかり、SQuAD v1.1で目標F1スコアが90.5以上に達する。
  論文  参考訳（メタデータ） (2020-06-24T05:00:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。