論文の概要: Neighborhood Gradient Clustering: An Efficient Decentralized Learning Method for Non-IID Data Distributions

• arxiv url: http://arxiv.org/abs/2209.14390v6
• Date: Mon, 20 Mar 2023 20:05:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 03:01:22.029847
• Title: Neighborhood Gradient Clustering: An Efficient Decentralized Learning Method for Non-IID Data Distributions
• Title（参考訳）: 近傍勾配クラスタリング:非iidデータ分布の効率的な分散学習法
• Authors: Sai Aparna Aketi, Sangamesh Kodge, Kaushik Roy
• Abstract要約: 現在の最先端の分散アルゴリズムは、主にデータ分散が独立的で、明確に分散していると仮定している。 textitNeighborhood Gradient Clustering (NGC) は,各エージェントの局所勾配を自己および横断的情報を用いて修正する,分散学習アルゴリズムである。
• 参考スコア（独自算出の注目度）: 5.340730281227837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning over distributed datasets can have significantly different data distributions across the agents. The current state-of-the-art decentralized algorithms mostly assume the data distributions to be Independent and Identically Distributed. This paper focuses on improving decentralized learning over non-IID data. We propose \textit{Neighborhood Gradient Clustering (NGC)}, a novel decentralized learning algorithm that modifies the local gradients of each agent using self- and cross-gradient information. Cross-gradients for a pair of neighboring agents are the derivatives of the model parameters of an agent with respect to the dataset of the other agent. In particular, the proposed method replaces the local gradients of the model with the weighted mean of the self-gradients, model-variant cross-gradients (derivatives of the neighbors' parameters with respect to the local dataset), and data-variant cross-gradients (derivatives of the local model with respect to its neighbors' datasets). The data-variant cross-gradients are aggregated through an additional communication round without breaking the privacy constraints. Further, we present \textit{CompNGC}, a compressed version of \textit{NGC} that reduces the communication overhead by $32 \times$. We theoretically analyze the convergence rate of the proposed algorithm and demonstrate its efficiency over non-IID data sampled from {various vision and language} datasets trained. Our experiments demonstrate that \textit{NGC} and \textit{CompNGC} outperform (by $0-6\%$) the existing SoTA decentralized learning algorithm over non-IID data with significantly less compute and memory requirements. Further, our experiments show that the model-variant cross-gradient information available locally at each agent can improve the performance over non-IID data by $1-35\%$ without additional communication cost.
• Abstract（参考訳）: 分散データセットによる分散学習は、エージェント間で大きく異なるデータ分散を持つことができる。 現在の最先端の分散アルゴリズムは、データ分布が独立かつ同一に分散することをほとんど想定している。 本稿は,非IIDデータによる分散学習の改善に焦点をあてる。 本稿では,各エージェントの局所的勾配を自己およびクロスグレード情報を用いて修正する,新しい分散学習アルゴリズムである \textit{neighborhood gradient clustering (ngc)"を提案する。 一対の隣接するエージェントのクロス勾配は、他のエージェントのデータセットに対するエージェントのモデルパラメータの微分である。 特に, 提案手法は, モデルの局所勾配を, 自己次数平均, モデル変種交叉勾配(局所データセットに対する隣人のパラメータの導出物) およびデータ変種交叉勾配(周辺モデルのデータセットに関する導出物)に置き換える。 データ不変のクロスグラディエントは、プライバシー制約を破ることなく、追加の通信ラウンドを通じて集約される。 さらに、通信オーバヘッドを32 \times$.32 に削減する \textit{CompNGC} の圧縮版である \textit{CompNGC} を提示する。 本研究では,提案アルゴリズムの収束率を理論的に解析し,訓練された<various vision and language}データセットからサンプリングした非iidデータに対してその効率を示す。 私たちの実験では、計算量やメモリ要件が大幅に少ない非iidデータに対して、既存のsata分散学習アルゴリズムが($0-6\%$)、 \textit{ngc} と \textit{compngc} を上回っていることが示されています。 さらに,各エージェントでローカルに利用可能なモデル可変クロスグレード情報により,通信コストを増すことなく,非iidデータに対する性能を1～35\%$向上できることを示した。

関連論文リスト

• Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients [40.84399531998246]
  Federated Learning (FL) は、通信ネットワークシステムにおける分散機械学習フレームワークである。 非独立分散(Non-IID)データは、大域モデルの収束効率に悪影響を及ぼす。 FLモデルの収束を加速するために,局所勾配の有利な群を選別するBHerd戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-25T09:16:59Z)
• Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data [8.946847190099206]
  異種データに基づく分散学習のための新しい手法を提案する。 一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。 実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T14:48:23Z)
• CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
  フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。 本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
  論文  参考訳（メタデータ） (2023-02-21T02:53:37Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Robust Convergence in Federated Learning through Label-wise Clustering [6.693651193181458]
  非IIDデータセットとローカルクライアントの不均一環境は、フェデレートラーニング(FL)における主要な課題であると見なされる 地理的に異質なローカルクライアント間のトレーサビリティを保証する新しいラベルワイドクラスタリングアルゴリズムを提案する。 提案手法は,他のFLアルゴリズムと比較して,高速でロバストな収束を示す。
  論文  参考訳（メタデータ） (2021-12-28T18:13:09Z)
• Cross-Gradient Aggregation for Decentralized Learning from Non-IID data [34.23789472226752]
  分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。 本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。 既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T21:58:12Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。