論文の概要: AutoLoCo: Communication Efficient Distributed LLM Training via Adaptive Synchronization
- arxiv url: http://arxiv.org/abs/2609.36662v1
- Date: Tue, 29 Sep 2026 04:05:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.172581
- Title: AutoLoCo: Communication Efficient Distributed LLM Training via Adaptive Synchronization
- Title（参考訳）: AutoLoCo:適応同期によるコミュニケーション効率の良い分散LLMトレーニング
- Abstract要約: 大規模言語モデル(LLM)の事前トレーニングは、複数のデータセンターで行われている。
トレーニングがより多くのアクセラレータにスケールするにつれて、計算に費やされる時間の割合は減少し、通信に費やされる時間は増加する。
ほとんどのローカル更新メソッドは、トレーニング前に同期間のローカルステップの数を設定し、実行中にこのインターバルを固定する。
間隔と間隔が現在の訓練状態に適合した場合、訓練性能を維持しつつ通信周波数を低減させる。
- 参考スコア（独自算出の注目度）: 6.685629494183483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The pre-training of Large Language Models (LLMs) is increasingly conducted across multiple data centers. As training scales to a larger number of accelerators, the fraction of time spent on computation decreases, while the fraction spent on communication increases. Therefore, frequent synchronization becomes a growing bottleneck. Local update methods reduce this cost by allowing workers to perform several optimizer steps between synchronizations. Most local update methods set the number of local optimizer steps between synchronizations before training and keep this interval fixed throughout the run. However, the best interval can change during the entire train process. If the interval and optimizer are adapted to the current training state, the communication frequency is reduced while maintaining the training performance. In this work, we introduce AutoLoCo, an adaptive training framework to reduce communication in LLM training. It adapts the local interval using scalar training statistics and corrects each outer update. Our method is motivated by two observations: 1) the appropriate local interval varies across training stages, and 2) changing the number of inner steps per interval creates a mismatch with an unchanged outer optimizer, requiring a correction to the outer update. We optimize this mismatch by correction of the outer optimizer for the momentum and the learning rate using the accumulated inner learning rate. Our experiments under communication constraints demonstrate that AutoLoCo reduces communication frequency by 27% relative to DiLoCo while maintaining training performance.
- Abstract（参考訳）: 大規模言語モデル(LLM)の事前トレーニングは、複数のデータセンターで行われている。
トレーニングがより多くのアクセラレータにスケールするにつれて、計算に費やされる時間の割合は減少し、通信に費やされる時間の割合は増加する。
そのため、頻繁な同期がボトルネックとなる。
ローカル更新メソッドは、同期間の複数の最適化ステップを実行可能にすることで、このコストを削減する。
ほとんどのローカル更新メソッドは、トレーニング前に同期間のローカルオプティマイザステップの数を設定し、実行中にこのインターバルを固定する。
ただし、最高区間は全区間で変更可能である。
インターバルとオプティマイザが現在のトレーニング状態に適合した場合、トレーニング性能を維持しつつ通信周波数を低減させる。
本研究では,LLM学習におけるコミュニケーションを低減するための適応トレーニングフレームワークであるAutoLoCoを紹介する。
局所間隔をスカラートレーニング統計を用いて調整し、各外付け更新を補正する。
私たちの手法は2つの観察によって動機づけられます。
1)適切な局所間隔は訓練段階によって異なり、
2) 間隔毎に内段数を変更すると, 変わらずの外部オプティマイザとのミスマッチが発生し, 外部更新の修正が必要となる。
蓄積した内的学習率を用いて,運動量と学習率に対する外的最適化器の補正により,このミスマッチを最適化する。
通信制約下での実験では、トレーニング性能を維持しながら、AutoLoCoはDiLoCoと比較して通信周波数を27%削減することを示した。
関連論文リスト
- Unifying Local Communications and Local Updates for LLM Pretraining [22.321729036377846]
LLMの通信効率のよい事前学習は、クラスタに分散した計算にトレーニングの引き金がかかっているため、ますます重要になっている。
本稿では,コミュニケーションアクセラレーションの概念を一般化し,実践的なゴシップベースのトレーニングフレームワークであるGASLoCを紹介する。
我々は,GASLoCが複数のトポロジに対して,通信単位の単一ステップで最先端の分散アルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2026-06-09T16:40:54Z) - Decoupled DiLoCo for Resilient Distributed Pre-training [19.201912399584813]
ロックステップ同期障壁を壊すように設計されたDiLoCoフレームワークの進化であるDecoupled DiLoCoを紹介した。
我々は,グローバルダウンタイムを厳格にゼロとした数百万のシミュレートされたチップを用いて,障害発生環境におけるトレーニング効率を大幅に向上させる。
論文 参考訳（メタデータ） (2026-04-23T08:45:38Z) - Accelerating Wireless Distributed Learning via Hybrid Split and Federated Learning Optimization [58.557093803478274]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、無線ネットワークにおいて効果的な分散ラーニングパラダイムである。
ハイブリッドスプリットとフェデレート学習(HSFL)の両方の利点を活用するために、一部のデバイスはFLモードで動作し、その他のデバイスはSLモードで動作することができる。
本論文は,(1)学習モードの選択が全体の学習性能にどのように影響するか,2)バッチサイズとどのように相互作用するか,という3つの重要な疑問に対処することによって,HSFLを加速することを目的としている。
論文 参考訳（メタデータ） (2025-11-25T02:29:22Z) - Eager Updates For Overlapped Communication and Computation in DiLoCo [15.965441412725808]
DiLoCoのような分散最適化手法は、複数のワーカーにわたる非常に大きなモデルのトレーニングに有効であることが示されている。
我々は、ワーカ間の帯域幅が低い設定で標準のDiLoCoと競合するパフォーマンスを提供する、熱狂的な更新と呼ばれる特定の変種を示す。
論文 参考訳（メタデータ） (2025-02-18T16:16:14Z) - ACCO: Accumulate While You Communicate for Communication-Overlapped Sharded LLM Training [22.940404796500985]
分散学習LLMのためのメモリ効率最適化アルゴリズムを提案する。
新しい処理を計算しながら遅延勾配を同期することにより、ACCOはGPUアイドル時間を短縮し、異種ハードウェアをサポートする。
ZeRO-1と比較して、我々のアプローチは大幅に高速で、異種ハードウェアで効果的にスケールできる。
論文 参考訳（メタデータ） (2024-06-03T08:23:45Z) - Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning [56.21666819468249]
FL(Federated Learning)では、クライアントリソースの制約と通信コストの両方が、大規模モデルのトレーニングに大きな問題を引き起こします。
最近の研究によると、局所的な訓練は加速によってコミュニケーションの複雑さを確実に改善する。
Sparse-ProxSkipを導入し、その課題に対処し、Sparse Training に展開する Straight-Through Estorimat の効率的な手法を実装した。
論文 参考訳（メタデータ） (2024-05-31T05:21:12Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Accelerating Distributed ML Training via Selective Synchronization [0.0]
textttSelSyncは、DNNトレーニングの実践的で低オーバーヘッドな方法であり、各ステップでコミュニケーションを発生または回避することを動的に選択する。
トレーニング時間を最大14$times$まで短縮しながら,BSPと同等あるいはより優れた精度に収束する。
論文 参考訳（メタデータ） (2023-07-16T05:28:59Z) - TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation [53.84175614198885]
分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。
ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
論文 参考訳（メタデータ） (2023-02-20T08:37:44Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳（メタデータ） (2021-09-06T12:04:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。