論文の概要: Neighborhood Gradient Clustering: An Efficient Decentralized Learning Method for Non-IID Data Distributions

• arxiv url: http://arxiv.org/abs/2209.14390v1
• Date: Wed, 28 Sep 2022 19:28:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 18:23:27.583012
• Title: Neighborhood Gradient Clustering: An Efficient Decentralized Learning Method for Non-IID Data Distributions
• Title（参考訳）: 近傍勾配クラスタリング:非iidデータ分布の効率的な分散学習法
• Authors: Sai Aparna Aketi, Sangamesh Kodge, Kaushik Roy
• Abstract要約: 本稿では,最小限の計算およびメモリオーバーヘッドで,非IIDデータ分散による分散学習を改善することに焦点を当てる。 本研究では,各エージェントの局所勾配を変化させる分散学習アルゴリズムであるNorborhood Gradient Clustering (NGC)を提案する。 クロスグラディエントを圧縮することで通信オーバーヘッドを32倍に削減するNGCの圧縮版であるCompNGCを提案する。
• 参考スコア（独自算出の注目度）: 5.340730281227837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning algorithms enable the training of deep learning models over large distributed datasets generated at different devices and locations, without the need for a central server. In practical scenarios, the distributed datasets can have significantly different data distributions across the agents. The current state-of-the-art decentralized algorithms mostly assume the data distributions to be Independent and Identically Distributed (IID). This paper focuses on improving decentralized learning over non-IID data distributions with minimal compute and memory overheads. We propose Neighborhood Gradient Clustering (NGC), a novel decentralized learning algorithm that modifies the local gradients of each agent using self- and cross-gradient information. In particular, the proposed method replaces the local gradients of the model with the weighted mean of the self-gradients, model-variant cross-gradients (derivatives of the received neighbors' model parameters with respect to the local dataset), and data-variant cross-gradients (derivatives of the local model with respect to its neighbors' datasets). Further, we present CompNGC, a compressed version of NGC that reduces the communication overhead by $32 \times$ by compressing the cross-gradients. We demonstrate the empirical convergence and efficiency of the proposed technique over non-IID data distributions sampled from the CIFAR-10 dataset on various model architectures and graph topologies. Our experiments demonstrate that NGC and CompNGC outperform the existing state-of-the-art (SoTA) decentralized learning algorithm over non-IID data by $1-5\%$ with significantly less compute and memory requirements. Further, we also show that the proposed NGC method outperforms the baseline by $5-40\%$ with no additional communication.
• Abstract（参考訳）: 分散学習アルゴリズムは、中央サーバーを必要とせずに、さまざまなデバイスや場所で生成された大規模な分散データセット上でディープラーニングモデルのトレーニングを可能にする。 実用的なシナリオでは、分散データセットはエージェント間で著しく異なるデータ分散を持つことができる。 現在の最先端の分散アルゴリズムは、データ分布が独立かつ同一分散(iid)であることをほとんど想定している。 本稿では,最小の計算およびメモリオーバーヘッドで,非IIDデータ分散による分散学習を改善することに焦点を当てる。 本研究では,各エージェントの局所勾配を自己および横断的情報を用いて修正する分散学習アルゴリズムであるNorborhood Gradient Clustering (NGC)を提案する。 特に,提案手法は,モデルの局所勾配を,自己次数平均,モデル変種交叉勾配(受信した隣人のモデルパラメータの局所データセットへの導出),データ変種交叉勾配(その隣人のデータセットに対する局所モデルの導出)に置き換える。 さらに,NGCの圧縮版であるCompNGCを,クロスグラディエントを圧縮することにより通信オーバーヘッドを32 \times$に削減する。 各種モデルアーキテクチャおよびグラフトポロジ上のCIFAR-10データセットから得られた非IIDデータ分布に対して,提案手法の実証的収束と効率性を示す。 実験の結果,NGCとCompNGCは,非IIDデータの分散学習アルゴリズムであるSoTAを,計算とメモリの要求が大幅に少ない1～5倍の1～5倍の性能で上回っていることがわかった。 さらに,提案手法は,追加の通信を伴わずに,ベースラインを5～40 %$で上回ることを示す。

関連論文リスト

• Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients [40.84399531998246]
  Federated Learning (FL) は、通信ネットワークシステムにおける分散機械学習フレームワークである。 非独立分散(Non-IID)データは、大域モデルの収束効率に悪影響を及ぼす。 FLモデルの収束を加速するために,局所勾配の有利な群を選別するBHerd戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-25T09:16:59Z)
• Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data [8.946847190099206]
  異種データに基づく分散学習のための新しい手法を提案する。 一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。 実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T14:48:23Z)
• CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
  フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。 本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
  論文  参考訳（メタデータ） (2023-02-21T02:53:37Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
  非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる 地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。 提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
  論文  参考訳（メタデータ） (2021-12-28T18:13:09Z)
• Cross-Gradient Aggregation for Decentralized Learning from Non-IID data [34.23789472226752]
  分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。 本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。 既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T21:58:12Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。