論文の概要: D-Cliques: Compensating NonIIDness in Decentralized Federated Learning with Topology

• arxiv url: http://arxiv.org/abs/2104.07365v1
• Date: Thu, 15 Apr 2021 10:47:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:09:56.174020
• Title: D-Cliques: Compensating NonIIDness in Decentralized Federated Learning with Topology
• Title（参考訳）: D-Cliques: トポロジによる分散型フェデレーション学習における非IIDの補正
• Authors: Aur\'elien Bellet, Anne-Marie Kermarrec, Erick Lavoie
• Abstract要約: 非IIDの重要データである局所クラスバイアスの影響を,基礎となる通信トポロジを慎重に設計することで,大幅に低減できることを示す。 d-cliquesは相互接続されたcliques内のノードをグループ化することで勾配バイアスを低減する新しいトポロジーである。
• 参考スコア（独自算出の注目度）: 1.2719327447589344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The convergence speed of machine learning models trained with Federated Learning is significantly affected by non-independent and identically distributed (non-IID) data partitions, even more so in a fully decentralized setting without a central server. In this paper, we show that the impact of local class bias, an important type of data non-IIDness, can be significantly reduced by carefully designing the underlying communication topology. We present D-Cliques, a novel topology that reduces gradient bias by grouping nodes in interconnected cliques such that the local joint distribution in a clique is representative of the global class distribution. We also show how to adapt the updates of decentralized SGD to obtain unbiased gradients and implement an effective momentum with D-Cliques. Our empirical evaluation on MNIST and CIFAR10 demonstrates that our approach provides similar convergence speed as a fully-connected topology with a significant reduction in the number of edges and messages. In a 1000-node topology, D-Cliques requires 98% less edges and 96% less total messages, with further possible gains using a small-world topology across cliques.
• Abstract（参考訳）: フェデレートラーニングでトレーニングされた機械学習モデルの収束速度は、非独立的で同一に分散された(非IID)データパーティションによって著しく影響を受けます。 本稿では,非IIDの重要データである局所クラスバイアスの影響を,基礎となる通信トポロジを慎重に設計することで,大幅に低減できることを示す。 D-Cliques は,clique 内の局所的な関節分布が大域的なクラス分布を表すような,相互接続されたclique 内のノードをグループ化することで勾配バイアスを低減する新しいトポロジーである。 また、分散SGDの更新を非バイアス勾配に適応させ、D-Cliquesで効果的な運動量を実現する方法を示す。 MNIST と CIFAR10 に関する実証的な評価は,本手法が完全連結トポロジーと同様の収束速度を提供し,エッジ数やメッセージ数を大幅に削減することを示した。 1000ノードのトポロジでは、d-cliquesは98%のエッジと96%のメッセージを必要とする。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Harnessing Increased Client Participation with Cohort-Parallel Federated Learning [2.9593087583214173]
  Federated Learning(FL)は、ノードがグローバルモデルを協調的にトレーニングする機械学習アプローチである。 本稿では,Cohort-Parallel Federated Learning (CPFL)を紹介する。 4つのコホート、非IIDデータ分散、CIFAR-10を持つCPFLは、列車の時間短縮に1.9$times$、資源使用量削減に1.3$times$である。
  論文  参考訳（メタデータ） (2024-05-24T15:34:09Z)
• Decentralized Federated Learning Over Imperfect Communication Channels [68.08499874460857]
  本稿では、分散化フェデレーション学習(D-FL)における不完全なコミュニケーションチャネルの影響を解析する。 トレーニングラウンドあたりのローカルアグリゲーションの最適な数を決定し、ネットワークトポロジと不完全なチャネルに適応する。 D-FLは、最適数の局所的なアグリゲーションを持つため、トレーニング精度が10%以上向上する可能性がある。
  論文  参考訳（メタデータ） (2024-05-21T16:04:32Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Impact of network topology on the performance of Decentralized Federated Learning [4.618221836001186]
  分散機械学習は、インフラストラクチャの課題とプライバシの懸念に対処し、勢いを増している。 本研究では,3つのネットワークトポロジと6つのデータ分散手法を用いて,ネットワーク構造と学習性能の相互作用について検討する。 モデル集約時の希釈効果に起因する周辺ノードから中心ノードへの知識伝達の課題を強調した。
  論文  参考訳（メタデータ） (2024-02-28T11:13:53Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• FedDKD: Federated Learning with Decentralized Knowledge Distillation [3.9084449541022055]
  分散知識蒸留法(FedDKD)を応用した新しいフェデレートラーニングフレームワークを提案する。 我々は、FedDKDが、いくつかのDKDステップにおいて、より効率的なコミュニケーションと訓練により最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-02T07:54:07Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Intermittent Pulling with Local Compensation for Communication-Efficient Federated Learning [20.964434898554344]
  Federated Learningは、高度に分散したデータでグローバルモデルをトレーニングするための強力な機械学習パラダイムである。 分散SGDの性能における大きなボトルネックは、ローカルおよびプルグローバルモデルをプッシュする際の通信オーバーヘッドである。 本稿では,通信オーバーヘッドを低減するため,PRLC (Gradient Pulling Compensation) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-01-22T20:53:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。