論文の概要: Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization

• arxiv url: http://arxiv.org/abs/2509.08233v1
• Date: Wed, 10 Sep 2025 02:19:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.292088
• Title: Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
• Title（参考訳）: 分散・フェデレーション学習におけるコミュニケーション効率向上方略:圧縮・局所訓練・パーソナライゼーション
• Authors: Kai Yi,
• Abstract要約: 論文は、モデル圧縮、ローカルトレーニング、パーソナライゼーションに焦点を当て、コミュニケーション効率を改善するための戦略を探求する。 我々は,収束保証付き圧縮演算子のための統一的なフレームワークを構築した。 本稿では,収束を加速し,クライアントのドリフトを軽減するためにパーソナライズを取り入れた適応型ローカルトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 8.579148218325168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed and federated learning are essential paradigms for training models across decentralized data sources while preserving privacy, yet communication overhead remains a major bottleneck. This dissertation explores strategies to improve communication efficiency, focusing on model compression, local training, and personalization. We establish a unified framework for biased and unbiased compression operators with convergence guarantees, then propose adaptive local training strategies that incorporate personalization to accelerate convergence and mitigate client drift. In particular, Scafflix balances global and personalized objectives, achieving superior performance under both IID and non-IID settings. We further introduce privacy-preserving pruning frameworks that optimize sparsity while minimizing communication costs, with Cohort-Squeeze leveraging hierarchical aggregation to reduce cross-device overhead. Finally, SymWanda, a symmetric post-training pruning method, enhances robustness under high sparsity and maintains accuracy without retraining. Extensive experiments on benchmarks and large-scale language models demonstrate favorable trade-offs among accuracy, convergence, and communication, offering theoretical and practical insights for scalable, efficient distributed learning.
• Abstract（参考訳）: 分散およびフェデレートされた学習は、プライバシを維持しながら分散化されたデータソース間のモデルをトレーニングする上で必須のパラダイムであるが、通信オーバーヘッドは依然として大きなボトルネックである。 この論文は、モデル圧縮、ローカルトレーニング、パーソナライゼーションに焦点を当て、コミュニケーション効率を改善するための戦略を探求する。 我々は,収束保証付き圧縮演算子の偏りと偏りのない統一的な枠組みを確立し,収束を加速し,クライアントのドリフトを軽減するためにパーソナライズを取り入れた適応的なローカルトレーニング戦略を提案する。 特に、Scafflixはグローバルとパーソナライズされた目的のバランスをとり、IDと非IID設定の両方で優れたパフォーマンスを達成する。 さらに,通信コストを最小化しながら疎結合性を最適化するプライバシ保護型プルーニングフレームワークを導入し,階層的なアグリゲーションを活用してデバイス間オーバーヘッドを低減する。 最終的に、対称なポストトレーニングプルーニング法であるSymWandaは、高い疎度下で頑健性を高め、再トレーニングせずに精度を維持する。 ベンチマークと大規模言語モデルに関する大規模な実験は、正確性、収束性、コミュニケーションの間の良好なトレードオフを示し、スケーラブルで効率的な分散学習のための理論的および実践的な洞察を提供する。

関連論文リスト

• FedCCL: Federated Clustered Continual Learning Framework for Privacy-focused Energy Forecasting [0.0]
  FedCCLは静的な組織特性を持つが、動的クライアント可用性を持つ環境向けに特別に設計されたフレームワークである。 提案手法では,3層モデルトポロジを用いた非同期フェデレート学習プロトコルを実装している。 我々は,FedCCLが分散学習のプライバシ保存に有効なフレームワークを提供し,動的参加者数であっても高い精度と適応性を維持していることを示す。
  論文  参考訳（メタデータ） (2025-04-28T21:51:27Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [52.13056951033747]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 FLにおける重要なボトルネックは通信コストです。 我々の研究は、FLにおける通信複雑性の低減を推進した革新的なScaffnewアルゴリズムにインスパイアされている。 我々はFedComLocを導入し、実用的で効果的な圧縮をScaffnewに統合し、通信効率をさらに高める。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)
• Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression [8.353152693578151]
  Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。 両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。 我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-26T09:13:31Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。