論文の概要: Double Momentum SGD for Federated Learning

• arxiv url: http://arxiv.org/abs/2102.03970v1
• Date: Mon, 8 Feb 2021 02:47:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 15:20:10.091147
• Title: Double Momentum SGD for Federated Learning
• Title（参考訳）: フェデレーションラーニングのためのダブルモーメントSGD
• Authors: An Xu, Heng Huang
• Abstract要約: 我々は、フェデレート学習におけるモデル性能を改善するために、DOMOと呼ばれる新しいSGD変種を提案する。 1つのモメンタバッファはサーバ更新方向を追跡し、もう1つはローカル更新方向を追跡します。 本稿では,サーバとローカルモーメントSGDを協調する新しいサーバモーメント融合手法を提案する。
• 参考スコア（独自算出の注目度）: 94.58442574293021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Communication efficiency is crucial in federated learning. Conducting many local training steps in clients to reduce the communication frequency between clients and the server is a common method to address this issue. However, the client drift problem arises as the non-i.i.d. data distributions in different clients can severely deteriorate the performance of federated learning. In this work, we propose a new SGD variant named as DOMO to improve the model performance in federated learning, where double momentum buffers are maintained. One momentum buffer tracks the server update direction, while the other tracks the local update direction. We introduce a novel server momentum fusion technique to coordinate the server and local momentum SGD. We also provide the first theoretical analysis involving both the server and local momentum SGD. Extensive experimental results show a better model performance of DOMO than FedAvg and existing momentum SGD variants in federated learning tasks.
• Abstract（参考訳）: 連帯学習ではコミュニケーション効率が重要である。 クライアントとサーバ間の通信頻度を減らすためにクライアントで多くのローカルトレーニングステップを実行することは、この問題に対処する一般的な方法です。 しかし、クライアントドリフト問題は非i.i.dとして生じる。 異なるクライアントのデータ分散は、フェデレーション学習のパフォーマンスを著しく低下させる可能性がある。 本研究では,2つの運動量バッファが維持されるフェデレート学習におけるモデル性能を改善するため,DOMOと呼ばれる新しいSGD変種を提案する。 1つのモーメントバッファはサーバ更新方向を追跡し、もう1つはローカル更新方向を追跡する。 本稿では,サーバとローカルモーメントSGDを協調する新しいサーバモーメント融合手法を提案する。 また,サーバと局所運動量sgdの両方に関する最初の理論的解析を行う。 FedAvg よりも DOMO のモデル性能が向上し,既存の学習課題における SGD 変量も向上した。

関連論文リスト

• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Joint Client Assignment and UAV Route Planning for Indirect-Communication Federated Learning [20.541942109704987]
  FedEx (Federated Learning via Model Express Delivery)と呼ばれる新しいフレームワークが提案されている。 UAVのような移動体トランスポーターを使用して、サーバとクライアント間の間接的な通信チャネルを確立する。 FedEx-SyncとFedEx-Asyncという2つのアルゴリズムがトランスポーターレベルで同期および非同期学習のために提案されている。
  論文  参考訳（メタデータ） (2023-04-21T04:47:54Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates [6.758334200305236]
  フェデレートラーニング(FL)は、複数の分散クライアント(モバイルデバイスなど)が、クライアントにローカルにトレーニングデータを保持しながら、協調的に集中的なモデルをトレーニングすることを可能にする。 本稿では,これらの障害と攻撃を空間的・時間的観点から緩和することを提案する。 具体的には、パラメータ空間におけるそれらの幾何学的性質を活用することにより、不正な更新を検出し、排除するためにクラスタリングに基づく手法を用いる。
  論文  参考訳（メタデータ） (2021-07-03T18:48:11Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Separate but Together: Unsupervised Federated Learning for Speech Enhancement from Non-IID Data [27.51123821674191]
  音声強調と分離のための非教師付きフェデレーション学習(FL)アプローチであるFEDENHANCEを提案する。 我々は、各クライアントが限られた数の話者からのノイズの多い録音へのアクセスしかできない現実のシナリオをシミュレートする。 実験の結果,本手法は単一デバイス上での iid トレーニングと比較して,競合強化性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-05-11T00:47:18Z)
• Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression [8.353152693578151]
  Federated Learning(FL)は、クライアントの生データを共有せずにディープラーニングモデルをトレーニングするための有望で強力なアプローチです。 両サイドローランク圧縮(FedDLR)を用いたフェデレーションラーニングと呼ばれる新しいトレーニング手法を提案する。 我々は,FedDLRがコミュニケーションと効率の両面で最先端のソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-26T09:13:31Z)
• Intermittent Pulling with Local Compensation for Communication-Efficient Federated Learning [20.964434898554344]
  Federated Learningは、高度に分散したデータでグローバルモデルをトレーニングするための強力な機械学習パラダイムである。 分散SGDの性能における大きなボトルネックは、ローカルおよびプルグローバルモデルをプッシュする際の通信オーバーヘッドである。 本稿では,通信オーバーヘッドを低減するため,PRLC (Gradient Pulling Compensation) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-01-22T20:53:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。