論文の概要: Factored Gossip DiLoCo: Reducing Blocking Communication in DiLoCo
- arxiv url: http://arxiv.org/abs/2606.22768v1
- Date: Mon, 22 Jun 2026 02:15:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 21:27:20.351656
- Title: Factored Gossip DiLoCo: Reducing Blocking Communication in DiLoCo
- Title（参考訳）: Gossip DiLoCo: DiLoCoにおけるブロック通信の削減
- Abstract要約: DiLoCoの外部同期は帯域幅が重く、トラグラーや過渡的障害に弱いままである。
我々は、遅延や通信の失敗によって適切に劣化するミキシング/ゴシップにより、正確な同期を緩和し、近似同期を緩和する。
当社のフレームワークは,DiLoCoと比較して大幅に計算効率を向上し,トレーニングの進捗は同等から密に一致し,障害に対して堅牢である。
- 参考スコア（独自算出の注目度）: 53.37011208698893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To make large-scale distributed training practical outside high-bandwidth datacenters, we must reduce blocking, high-volume synchronization. While DiLoCo communicates infrequently, its outer synchronization remains bandwidth-heavy and brittle to stragglers and transient failures. We relax exact synchronization to approximate synchronization via mixing/gossip, which degrades gracefully under delays and communication failures. This allows us to factorize DiLoCo synchronization into a non-blocking mixing step that overlaps computation with no staleness, and a blocking mixing step that tightens worker agreement, yielding a tunable trade-off between compute utilization and optimization stability. On up to billion-parameter language models in low-bandwidth settings, our framework substantially improves compute utilization compared to DiLoCo, with training progress ranging from comparable to closely matching it, and is more robust to failures.
- Abstract（参考訳）: 高帯域のデータセンターの外で大規模分散トレーニングを実践するためには,ブロッキングや高ボリューム同期を抑える必要がある。
DiLoCoは頻繁に通信するが、その外部同期は帯域幅が重く、トラグラーや過渡的障害に対して脆弱である。
我々は、遅延や通信の失敗によって適切に劣化するミキシング/ゴシップにより、正確な同期を緩和し、近似同期を緩和する。
これにより、DiLoCo同期を非ブロッキングミキシングステップに分解し、非ブロッキングミキシングステップと、労働者の合意を締め付けるブロッキングミキシングステップに分解し、計算利用と最適化安定性の間に調整可能なトレードオフをもたらすことができる。
低帯域幅での最大10億パラメータ言語モデル上では、我々のフレームワークはDiLoCoと比較して計算効率を大幅に改善し、トレーニングの進捗は同等から密に一致し、障害に対してより堅牢である。
関連論文リスト
- SparseRL-Sync: Lossless Weight Synchronization with ~100x Less Communication [0.6775438671102701]
フルウェイト転送をスパース更新ペイロードに置き換えるSparseRL-Syncを提案する。
SparseRL-Syncは帯域幅制限と高非同期RL設定におけるスケーラビリティとエンドツーエンドの効率を大幅に改善する。
論文 参考訳（メタデータ） (2026-05-08T06:34:51Z) - Decoupled DiLoCo for Resilient Distributed Pre-training [19.201912399584813]
ロックステップ同期障壁を壊すように設計されたDiLoCoフレームワークの進化であるDecoupled DiLoCoを紹介した。
我々は,グローバルダウンタイムを厳格にゼロとした数百万のシミュレートされたチップを用いて,障害発生環境におけるトレーニング効率を大幅に向上させる。
論文 参考訳（メタデータ） (2026-04-23T08:45:38Z) - Asynchronous Heavy-Tailed Optimization [23.148100548141983]
本稿では,重み付き勾配雑音の存在下で,非同期更新によるストラグラー処理を行う2つの通信方式を提案する。
重み付き雑音下での収束保証は同期ノイズの速度と一致し、既存の非同期アプローチと比較して遅延耐性を向上させる。
論文 参考訳（メタデータ） (2026-02-20T05:28:48Z) - AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism [54.8494905524997]
両方の並列処理軸をまたいだ非同期更新を導入し、コロケーション要求を緩和します。
スパース平均化と非同期更新の両方に対して収束保証を提供します。
大規模言語モデルを用いた実験により,本手法が完全同期ベースラインの性能と一致することを示した。
論文 参考訳（メタデータ） (2026-01-30T01:24:47Z) - AdLoCo: adaptive batching significantly improves communications efficiency and convergence for Large Language Models [34.54482364155804]
本稿では,Multi-Instance Training(MIT),Adaptive Batched DiLoCo,スイッチモード機構を組み合わせた3段階の手法を提案する。
MITは個々のノードに対して、異なるモデルインスタンスを並列に複数の軽量なトレーニングストリームを実行することができる。
Adaptive Batched DiLoCoは、ローカルバッチサイズを動的に調整して、計算と通信のバランスをとる。
スイッチモードは、ハードウェアフレンドリな制限を超えて適応バッチサイズが大きくなると、グラデーションの蓄積をシームレスに導入する。
論文 参考訳（メタデータ） (2025-08-25T16:35:57Z) - A Novel Collaborative Framework for Efficient Synchronization in Split Federated Learning over Wireless Networks [4.462403784684656]
我々は、デバイス間コラボレーションを通じてワークロードの再配布を再定義する、CSFL(Collaborative Split Federated Learning)と呼ばれる新しいフレームワークを提案する。
CSFLは、独自の前方伝播を完了した後に、未完成のボトルネックデバイスの層をシームレスに引き継ぐ効率的なデバイスを可能にする。
このコラボレーティブなプロセスは、D2D通信によってサポートされ、ネットワーク全体の同期進行を維持しながら、ボトルネックデバイスを早期にオフロードすることができる。
論文 参考訳（メタデータ） (2025-03-18T22:11:54Z) - Streaming DiLoCo with overlapping communication: Towards a Distributed Free Lunch [66.84195842685459]
大規模言語モデル(LLM)のトレーニングは通常、トレーニング時間を短縮するために、多数のアクセラレータに分散される。
近年、DiLoCoのような分散アルゴリズムはそのようなコロケーション制約を緩和している。
我々は、数十億のパラメータのトレーニングを分散し、以前と同じような品質に到達できることを実験的に示す。
論文 参考訳（メタデータ） (2025-01-30T17:23:50Z) - Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。
本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。
提案手法の有効性を数値解析により検証した。
論文 参考訳（メタデータ） (2024-11-04T17:48:02Z) - LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression [56.01900711954956]
そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)という,ローカルトレーニングの一般的かつ効果的な2つの手法を利用する通信効率の高いアルゴリズムを紹介した。
LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種体制において、関数の条件数とモデル次元に関して、二重に加速された通信複雑性を享受する。
論文 参考訳（メタデータ） (2024-03-07T09:22:50Z) - Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity [85.92481138826949]
我々は,従来の集中型手法の時間的複雑さを確実に改善する新しい手法であるShadowheart SGDを開発した。
また、サーバからワーカーへのブロードキャストが無視できない双方向設定も検討し、対応する方法を開発した。
論文 参考訳（メタデータ） (2024-02-07T12:15:56Z) - $\ extbf{A}^2\ extbf{CiD}^2$: Accelerating Asynchronous Communication in
Decentralized Deep Learning [0.0]
このアルゴリズムは、$textbfA2textbfCiD2$という連続的な局所運動量のおかげで動作する。
我々の理論解析は、以前の非同期分散ベースラインと比較して加速速度を証明している。
我々は、最大64の非同期ワーカーを使用して、ImageNetデータセットに一貫した改善を示す。
論文 参考訳（メタデータ） (2023-06-14T06:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。