論文の概要: Communication-Efficient {Federated} Learning Using Censored Heavy Ball Descent

• arxiv url: http://arxiv.org/abs/2209.11944v1
• Date: Sat, 24 Sep 2022 07:14:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 14:38:58.624826
• Title: Communication-Efficient {Federated} Learning Using Censored Heavy Ball Descent
• Title（参考訳）: 検閲重球降下を用いたコミュニケーション効率の高いフェデレート学習
• Authors: Yicheng Chen, Rick S. Blum, Brian M. Sadler
• Abstract要約: 分散学習環境における通信効率は,特に無線通信やバッテリ駆動通信において重要な考慮事項である。 本稿では,コンベックス,非検閲,および非識別性ケースに対する検閲手法(CHB)を開発する。 CHBは既存のアルゴリズムと比較して通信回数を大幅に削減でき、処理を遅くすることなく同じ精度を達成できる。
• 参考スコア（独自算出の注目度）: 36.43485723922637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed machine learning enables scalability and computational offloading, but requires significant levels of communication. Consequently, communication efficiency in distributed learning settings is an important consideration, especially when the communications are wireless and battery-driven devices are employed. In this paper we develop a censoring-based heavy ball (CHB) method for distributed learning in a server-worker architecture. Each worker self-censors unless its local gradient is sufficiently different from the previously transmitted one. The significant practical advantages of the HB method for learning problems are well known, but the question of reducing communications has not been addressed. CHB takes advantage of the HB smoothing to eliminate reporting small changes, and provably achieves a linear convergence rate equivalent to that of the classical HB method for smooth and strongly convex objective functions. The convergence guarantee of CHB is theoretically justified for both convex and nonconvex cases. In addition we prove that, under some conditions, at least half of all communications can be eliminated without any impact on convergence rate. Extensive numerical results validate the communication efficiency of CHB on both synthetic and real datasets, for convex, nonconvex, and nondifferentiable cases. Given a target accuracy, CHB can significantly reduce the number of communications compared to existing algorithms, achieving the same accuracy without slowing down the optimization process.
• Abstract（参考訳）: 分散機械学習はスケーラビリティと計算オフロードを可能にするが、かなりのレベルの通信を必要とする。 そのため,分散学習環境における通信効率は重要な考慮事項であり,特に無線通信やバッテリ駆動デバイスを用いた場合において重要である。 本稿では,サーバワーカアーキテクチャにおける分散学習のための検閲型ヘビーボール(CHB)手法を提案する。 各労働者の自己検閲は、その局所的な勾配が以前送信されたものと十分に異なる場合を除きである。 学習問題に対するHB法の重要な実用的利点はよく知られているが,コミュニケーションの低減に関する問題は解決されていない。 chb は hb smoothing を利用して小さな変化の報告を無くし、滑らかで強い凸目的関数に対する古典的な hb 法と同等の線形収束率を達成する。 CHBの収束保証は、凸と非凸の両方に対して理論的に正当化される。 さらに、ある条件下では、少なくとも半分の通信は収束率に影響を与えることなく排除できることを示す。 大規模な数値計算の結果は、凸、非凸、および非微分可能なケースにおいて、合成データセットと実データセットの両方におけるCHBの通信効率を検証した。 目標精度を考慮すれば、CHBは既存のアルゴリズムと比較して通信回数を大幅に削減でき、最適化プロセスを遅くすることなく同じ精度を達成できる。

関連論文リスト

• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• Distributed Learning With Sparsified Gradient Differences [29.675401066005467]
  スパリフィケーション・エラー補正法(GD-SEC)を考案した。 GD-SECは、収束や精度を犠牲にすることなく、ワーカからサーバへの通信当たりのビット数を削減している。 目標精度を考えると、GD-SECはプロセスを遅くすることなく、既存の通信負荷と比較して通信負荷を大幅に削減できる。
  論文  参考訳（メタデータ） (2022-02-05T04:51:36Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)
• Fast Federated Learning by Balancing Communication Trade-Offs [9.89867121050673]
  Federated Learning (FL)は最近、大規模なプライバシ保護機械学習に対して多くの注目を集めている。 頻繁な勾配透過による通信オーバーヘッドはFLを減速させる。 本稿では,Fast FL(Fast FL)とFast FL(Fast FL)の2変数を協調的に動的に調整し,学習誤差を最小限に抑える拡張FLスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-23T21:55:14Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
  通信効率のよい分散最適化の問題を考える。 特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。 実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-10T13:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。