論文の概要: Stochastic Controlled Averaging for Federated Learning with Communication Compression

• arxiv url: http://arxiv.org/abs/2308.08165v2
• Date: Tue, 9 Apr 2024 06:47:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 20:26:21.683480
• Title: Stochastic Controlled Averaging for Federated Learning with Communication Compression
• Title（参考訳）: コミュニケーション圧縮を用いたフェデレーション学習における確率制御平均化
• Authors: Xinmeng Huang, Ping Li, Xiaoyun Li,
• Abstract要約: 我々は,非バイアス圧縮とバイアス圧縮をサポートするために,SCALLIONとSCAFCOMという2つの圧縮FLアルゴリズムを提案する。 両手法は通信や計算の複雑さの観点から既存のFL法よりも優れている。
• 参考スコア（独自算出の注目度）: 36.09135695005069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Communication compression, a technique aiming to reduce the information volume to be transmitted over the air, has gained great interests in Federated Learning (FL) for the potential of alleviating its communication overhead. However, communication compression brings forth new challenges in FL due to the interplay of compression-incurred information distortion and inherent characteristics of FL such as partial participation and data heterogeneity. Despite the recent development, the performance of compressed FL approaches has not been fully exploited. The existing approaches either cannot accommodate arbitrary data heterogeneity or partial participation, or require stringent conditions on compression. In this paper, we revisit the seminal stochastic controlled averaging method by proposing an equivalent but more efficient/simplified formulation with halved uplink communication costs. Building upon this implementation, we propose two compressed FL algorithms, SCALLION and SCAFCOM, to support unbiased and biased compression, respectively. Both the proposed methods outperform the existing compressed FL methods in terms of communication and computation complexities. Moreover, SCALLION and SCAFCOM accommodates arbitrary data heterogeneity and do not make any additional assumptions on compression errors. Experiments show that SCALLION and SCAFCOM can match the performance of corresponding full-precision FL approaches with substantially reduced uplink communication, and outperform recent compressed FL methods under the same communication budget.
• Abstract（参考訳）: 通信のオーバーヘッドを軽減するため, 通信圧縮技術は, FL(Federated Learning) において大きな関心を集めている。 しかし, 通信圧縮がFLに新たな課題をもたらすのは, 圧縮帰属情報歪みと部分的参加やデータ不均一性といったFL固有の特性の相互作用によるものである。 近年の進歩にもかかわらず, 圧縮FL手法の性能は十分に評価されていない。 既存のアプローチは、任意のデータ不均一性や部分的参加を許容できないか、圧縮に厳密な条件を必要とする。 本稿では,半減なアップリンク通信コストで等価だがより効率的かつ簡易な定式化を提案することによって,半音階確率制御平均化法を再検討する。 本実装では,2つの圧縮FLアルゴリズムであるSCALLIONとSCAFCOMを提案し,それぞれ非バイアス圧縮とバイアス圧縮をサポートする。 両手法は通信や計算の複雑さの観点から既存のFL法よりも優れている。 さらに、SCALLIONとSCAFCOMは任意のデータの均一性を許容し、圧縮エラーについて追加の仮定をしない。 実験の結果, SCALLION と SCAFCOM は, 対応する完全精度FL手法の性能に匹敵し, アップリンク通信を著しく低減し, また, 同一通信予算下での最近の圧縮FL法よりも優れていた。

関連論文リスト

• Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning [29.727339562140653]
  フェデレーション平均化(FedAvg)におけるスパシフィケーションなどの現在のデータ圧縮手法は、フェデレーション学習(FL)のコミュニケーション効率を効果的に向上させる。 これらの手法は、異種帯域幅と非IIDデータによるストラグラー問題やモデル性能の低下といった課題に直面する。 非IIDデータに関連する問題を軽減しつつ,通信効率の向上を目的としたFLのための帯域幅対応圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T02:28:27Z)
• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Unbiased Compression Saves Communication in Distributed Optimization: When and How Much? [22.701976655513043]
  通信圧縮は、圧縮された勾配とモデルパラメータを伝達することで通信オーバーヘッドを軽減することができる。 通信圧縮によって通信コストが削減されるかどうかは不明である。 独立な非バイアス圧縮を用いることで、すべての局所的滑らか度定数が制約された場合、最大$Theta(sqrtminn, kappa)$で通信コストを削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:51:23Z)
• Distributed Newton-Type Methods with Communication Compression and Bernoulli Aggregation [11.870393751095083]
  曲率情報に対する同調圧縮と集約機構について検討する。 適応しきい値処理やベルヌーイ集約といった新しい3PC機構は、通信の低減と時折ヘッセン計算を必要とする。 全ての方法について、高速条件数非依存の局所線型および/または超線型収束率を導出する。
  論文  参考訳（メタデータ） (2022-06-07T21:12:21Z)
• 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
  本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。 スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。 シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
  論文  参考訳（メタデータ） (2021-03-30T03:50:31Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。