論文の概要: Accelerating Sharded Data Parallelism at Scale with Federated Learning
- arxiv url: http://arxiv.org/abs/2609.20359v1
- Date: Thu, 17 Sep 2026 13:21:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.288884
- Title: Accelerating Sharded Data Parallelism at Scale with Federated Learning
- Title（参考訳）: フェデレートラーニングによる大規模データ並列化の高速化
- Abstract要約: ファンデーションモデル(FM)は重要な例であり、数千の最先端GPU上で数ヶ月のトレーニングを必要とする。
FL+FSDPとFL+HSDPの2つのハイブリッドアルゴリズムを導入する。
このようなアプローチは、大規模なDPデプロイメントをより小さく、疎結合なフェデレーショングループに分離し、グループ間のトラフィックを最小限に抑えながら、グループのサイズに応じてグローバルなバッチサイズを維持する。
- 参考スコア（独自算出の注目度）: 1.2103414068933553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The symbiotic scaling of artificial intelligence models and high-performance computing systems continually creates algorithmic challenges in their convergence. Foundation models (FMs) are a crucial example, requiring months-long training on thousands of cutting-edge GPUs. Sharded data parallelism (DP) is the dominant strategy to accelerate such computations by splitting data and models across multiple GPUs. However, it incurs prohibitive communication overhead when deployed at scale, particularly on multi-tier interconnects with heterogeneous performance. Inspired by the efficient communication principles of federated learning (FL), this work introduces two hybrid algorithms - FL+FSDP and FL+HSDP - interleaving sharded DP with FedAvg-style aggregations. Such approaches decouple large DP deployments into smaller, loosely-coupled federation groups, requiring minimal inter-group traffic while keeping the global batch size bounded by the groups' size. Formal analysis of communication costs and experimental validation prove their scalability and flexibility. A Llama3.1 8B pre-training on 512 A100 GPUs shows that, under identical hyperparameters, FL+FSDP and FL+HSDP achieve up to 8.04 faster data processing and 4.48 lower evaluation perplexity than their counterparts, demonstrating superior computational efficiency and improved model quality. These properties stem from reduced communication overhead and the bounded growth of the global batch size relative to the federation group size.
- Abstract（参考訳）: 人工知能モデルと高性能コンピューティングシステムの共生スケーリングは、その収束においてアルゴリズム上の課題を連続的に生み出している。
ファンデーションモデル(FM)は重要な例であり、数千の最先端GPU上で数ヶ月のトレーニングを必要とする。
Sharded Data parallelism(DP)は、複数のGPUでデータとモデルを分割することで、そのような計算を高速化する主要な戦略である。
しかし、大規模にデプロイされた場合、特に不均一な性能を持つ多層相互接続において、通信オーバーヘッドが禁じられる。
この研究は、フェデレーション学習(FL)の効率的なコミュニケーション原理にヒントを得て、2つのハイブリッドアルゴリズム(FL+FSDPとFL+HSDP)を導入している。
このようなアプローチは、大規模なDPデプロイメントをより小さく、疎結合なフェデレーショングループに分離し、グループ間のトラフィックを最小限に抑えながら、グループのサイズに応じてグローバルなバッチサイズを維持する。
通信コストと実験的検証の形式的分析は、そのスケーラビリティと柔軟性を証明している。
512 A100 GPUで事前トレーニングされたLlama3.1 8Bは、同じハイパーパラメータの下でFL+FSDPとFL+HSDPが最大8.04高速なデータ処理を実現し、計算効率が向上し、モデル品質が向上したことを示している。
これらの特性は、通信オーバーヘッドの低減と、フェデレーショングループサイズに対するグローバルバッチサイズの有界成長に起因している。
関連論文リスト
- Scalability Analysis of Distributed Kolmogorov-Arnold Network Training on High-Performance Computing Systems [0.2730969268472861]
Kolmogorov-Arnold Networks (KANs) は、MLPの固定活性化関数と線形重みを置き換える
本稿では,マルチノード,マルチGPUハイパフォーマンスコンピューティング基盤におけるデータ並列kanトレーニングの実証的拡張性について述べる。
PyTorch Distributed Data Parallel (DDP)を用いた最大8個のNVIDIA A100 GPUを用いたFinasTerrae IIIスーパーコンピュータの実験を行った。
論文 参考訳（メタデータ） (2026-09-07T16:45:20Z) - CommFuse: Hiding Tail Latency via Communication Decomposition and Fusion for Distributed LLM Training [5.653799468368196]
本研究は,通信遅延を解消する新しい通信計算オーバーラップ手法を提案する。
そこで本研究では,従来のreduce-scatterとAll-gatherを代替するCommFuseという手法を提案する。
本手法は通信オーバヘッドを低減し,テール遅延を解消するための正確なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2026-04-27T03:48:21Z) - CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。
CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。
トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
論文 参考訳（メタデータ） (2025-09-24T07:54:01Z) - SHeRL-FL: When Representation Learning Meets Split Learning in Hierarchical Federated Learning [5.447833971100033]
Federated Learning(FL)は、大規模ネットワークにおけるスケーラビリティとレイテンシの問題に対処するための、有望なアプローチである。
これまでの作業では、分割学習(SL)と階層FL(HierFL)を組み合わせてデバイス側の計算を削減しているが、これは階層間の調整によるトレーニングの複雑さをもたらす。
SLと階層モデルアグリゲーションを統合し,中間層での表現学習を取り入れたSHeRL-FLを提案する。
論文 参考訳（メタデータ） (2025-08-11T04:13:56Z) - SimpleFSDP: Simpler Fully Sharded Data Parallel with torch.compile [7.544642148576768]
SimpleFSDPは、PyTorchネイティブコンパイラベースのFully Sharded Data Parallel (FSDP)フレームワークである。
メンテナンスと計算性のためのシンプルな実装を持ち、完全なコンポコミュニケーショングラフトレースを可能にし、コンパイラのバックエンド最適化によるパフォーマンス向上を実現している。
また、効率的な計算通信オーバーラップのために、TorchInductorバックエンドでバケットと並べ替えを行うIRノードも備えている。
論文 参考訳（メタデータ） (2024-11-01T00:43:54Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。
この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
論文 参考訳（メタデータ） (2024-08-26T17:03:14Z) - Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。
そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
論文 参考訳（メタデータ） (2024-08-19T07:43:35Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。
グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - Hierarchical Personalized Federated Learning Over Massive Mobile Edge
Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。
HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文 参考訳（メタデータ） (2023-03-19T06:00:05Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳（メタデータ） (2020-03-10T05:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。