論文の概要: LACCO: Local Accumulation with Computation--Communication Overlap
- arxiv url: http://arxiv.org/abs/2611.17991v1
- Date: Fri, 13 Nov 2026 10:21:28 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:23:46.648754
- Title: LACCO: Local Accumulation with Computation--Communication Overlap
- Title(参考訳): LACCO:計算を伴う局所的な蓄積-コミュニケーションオーバーラップ
- Abstract要約: 低帯域幅ネットワークでの言語モデルのトレーニングには、同期オーバーヘッドの削減が必要である。
既存の計算通信重複手法は、遅延または複製ローカルな更新によって、この停止を避ける。
LACCO(Local Computation-Communication Overlap)は,グローバル通信とローカル通信の重なり合う2段階のアルゴリズムである。
- 参考スコア(独自算出の注目度): 7.178488348141728
- License:
- Abstract: Training language models across low-bandwidth networks requires reducing synchronization overhead. Local optimization methods such as DiLoCo communicate only after several local steps, but outer gradient averaging and the outer update remain on the critical path. Existing computation-communication overlap methods avoid this stall through delayed or replica-local updates, which can degrade convergence or cause replicas to drift. We propose LACCO (Local Accumulation with Computation-Communication Overlap), a two-stage algorithm that overlaps global communication with local computation while applying globally aggregated updates shared by every replica, without introducing staleness in the outer update. We establish convergence guarantees for smooth non-convex objectives. Experiments on language-model pre-training with FineWeb show that LACCO consistently outperforms communication-overlapped baselines such as Eager and Delayed DiLoCo. These gains remain robust as model size scales up to 0.5B parameters and across a range of communication intervals and numbers of replicas up to 16 workers, while incurring only negligible-or fully overlappable-computational or memory overhead, which demonstrates the strength of LACCO.
- Abstract(参考訳): 低帯域幅ネットワークでの言語モデルのトレーニングには、同期オーバーヘッドの削減が必要である。
DiLoCoのような局所最適化手法は、いくつかの局所的なステップの後にのみ通信するが、外部勾配平均化と外部更新はクリティカルパスに留まる。
既存の計算通信オーバーラップメソッドでは、コンバージェンスを低下させたり、レプリカをドリフトさせたりできる、遅延またはレプリカローカル更新によって、この停止を回避することができる。
LACCO(Local Accumulation with Computation-Communication Overlap)は,各レプリカが共有するグローバル集約更新を適用しながら,グローバル通信とローカル計算を重複させる2段階のアルゴリズムである。
滑らかな非凸目的に対する収束保証を確立する。
FineWebによる言語モデル事前トレーニングの実験では、LACCOはEagerやDeLoCoの遅延といった通信オーバーラップベースラインを一貫して上回っている。
モデルサイズが0.5Bパラメータまで拡大し、さまざまな通信間隔と16人の作業員のレプリカ数にまたがる一方で、LACCOの強みを示す、無視可能なあるいは完全に重畳可能な計算またはメモリオーバーヘッドしか発生しないため、これらの利得は引き続き堅牢である。
関連論文リスト
- RIPPLE in Still Water: Zero-Shot Clustering in Federated Learning with Wavelet Scattering Transform [51.56484100374058]
クラスタ化されたフェデレートラーニング(FL)は、クライアントを同じローカル分布のグループに分割し、クラスタ毎に1つの特別なモデルを訓練する。
本稿では、各クライアントのローカルデータのスペクトル特性からクラスタ割り当てを完全にオフラインで計算するクラスタリングFLフレームワークであるRIPPLEを提案する。
論文 参考訳(メタデータ) (2026-10-02T09:35:39Z) - Factored Gossip DiLoCo: Reducing Blocking Communication in DiLoCo [53.37011208698893]
DiLoCoの外部同期は帯域幅が重く、トラグラーや過渡的障害に弱いままである。
我々は、遅延や通信の失敗によって適切に劣化するミキシング/ゴシップにより、正確な同期を緩和し、近似同期を緩和する。
当社のフレームワークは,DiLoCoと比較して大幅に計算効率を向上し,トレーニングの進捗は同等から密に一致し,障害に対して堅牢である。
論文 参考訳(メタデータ) (2026-06-22T02:15:13Z) - Unifying Local Communications and Local Updates for LLM Pretraining [22.321729036377846]
LLMの通信効率のよい事前学習は、クラスタに分散した計算にトレーニングの引き金がかかっているため、ますます重要になっている。
本稿では,コミュニケーションアクセラレーションの概念を一般化し,実践的なゴシップベースのトレーニングフレームワークであるGASLoCを紹介する。
我々は,GASLoCが複数のトポロジに対して,通信単位の単一ステップで最先端の分散アルゴリズムより優れていることを示す。
論文 参考訳(メタデータ) (2026-06-09T16:40:54Z) - Decoupled DiLoCo for Resilient Distributed Pre-training [19.201912399584813]
ロックステップ同期障壁を壊すように設計されたDiLoCoフレームワークの進化であるDecoupled DiLoCoを紹介した。
我々は,グローバルダウンタイムを厳格にゼロとした数百万のシミュレートされたチップを用いて,障害発生環境におけるトレーニング効率を大幅に向上させる。
論文 参考訳(メタデータ) (2026-04-23T08:45:38Z) - AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism [54.8494905524997]
両方の並列処理軸をまたいだ非同期更新を導入し、コロケーション要求を緩和します。
スパース平均化と非同期更新の両方に対して収束保証を提供します。
大規模言語モデルを用いた実験により,本手法が完全同期ベースラインの性能と一致することを示した。
論文 参考訳(メタデータ) (2026-01-30T01:24:47Z) - CoCo-Fed: A Unified Framework for Memory- and Communication-Efficient Federated Learning at the Wireless Edge [50.42067935605982]
ローカルメモリの効率とグローバル通信の削減を両立させる新しい圧縮・結合型学習フレームワークを提案する。
CoCo-Fedは、メモリと通信効率の両方において最先端のベースラインを著しく上回り、非IID設定下では堅牢な収束を維持している。
論文 参考訳(メタデータ) (2026-01-02T03:39:50Z) - CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。
CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。
トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
論文 参考訳(メタデータ) (2025-09-24T07:54:01Z) - ACCO: Accumulate While You Communicate for Communication-Overlapped Sharded LLM Training [22.940404796500985]
分散学習LLMのためのメモリ効率最適化アルゴリズムを提案する。
新しい処理を計算しながら遅延勾配を同期することにより、ACCOはGPUアイドル時間を短縮し、異種ハードウェアをサポートする。
ZeRO-1と比較して、我々のアプローチは大幅に高速で、異種ハードウェアで効果的にスケールできる。
論文 参考訳(メタデータ) (2024-06-03T08:23:45Z) - LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression [56.01900711954956]
そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)という,ローカルトレーニングの一般的かつ効果的な2つの手法を利用する通信効率の高いアルゴリズムを紹介した。
LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種体制において、関数の条件数とモデル次元に関して、二重に加速された通信複雑性を享受する。
論文 参考訳(メタデータ) (2024-03-07T09:22:50Z) - FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。
IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-03-28T08:07:28Z) - Revisiting Communication-Efficient Federated Learning with Balanced
Global and Local Updates [14.851898446967672]
本研究では,地域研修の数とグローバルアグリゲーションの数との最適なトレードオフを調査し,分析する。
提案手法は予測精度の点で性能が向上し,ベースライン方式よりもはるかに高速に収束する。
論文 参考訳(メタデータ) (2022-05-03T13:05:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。