論文の概要: Cross-Gradient Aggregation for Decentralized Learning from Non-IID data
- arxiv url: http://arxiv.org/abs/2103.02051v1
- Date: Tue, 2 Mar 2021 21:58:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-04 14:49:00.678291
- Title: Cross-Gradient Aggregation for Decentralized Learning from Non-IID data
- Title（参考訳）: 非IIDデータからの分散学習のためのクロスグラデーションアグリゲーション
- Authors: Yasaman Esfandiari, Sin Yong Tan, Zhanhong Jiang, Aditya Balu, Ethan
Herron, Chinmay Hegde, Soumik Sarkar
- Abstract要約: 分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。
本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。
既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
- 参考スコア（独自算出の注目度）: 34.23789472226752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized learning enables a group of collaborative agents to learn
models using a distributed dataset without the need for a central parameter
server. Recently, decentralized learning algorithms have demonstrated
state-of-the-art results on benchmark data sets, comparable with centralized
algorithms. However, the key assumption to achieve competitive performance is
that the data is independently and identically distributed (IID) among the
agents which, in real-life applications, is often not applicable. Inspired by
ideas from continual learning, we propose Cross-Gradient Aggregation (CGA), a
novel decentralized learning algorithm where (i) each agent aggregates
cross-gradient information, i.e., derivatives of its model with respect to its
neighbors' datasets, and (ii) updates its model using a projected gradient
based on quadratic programming (QP). We theoretically analyze the convergence
characteristics of CGA and demonstrate its efficiency on non-IID data
distributions sampled from the MNIST and CIFAR-10 datasets. Our empirical
comparisons show superior learning performance of CGA over existing
state-of-the-art decentralized learning algorithms, as well as maintaining the
improved performance under information compression to reduce peer-to-peer
communication overhead.
- Abstract（参考訳）: 分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。
近年、分散学習アルゴリズムは、集中型アルゴリズムに匹敵するベンチマークデータセットで最先端の結果を実証している。
しかし、競争性能を達成するための重要な前提は、データは独立して、実生活のアプリケーションでは適用できないエージェント間で均等に分散(IID)されていることである。
連続学習のアイデアから着想を得たCGA(Cross-Gradient Aggregation)を提案する。これは,(i)各エージェントが,隣人のデータセットに対するモデルの派生体であるクロスグラデーション情報を集め,(ii)二次プログラミング(QP)に基づく投影グラデーションを用いてモデルを更新する,新たな分散学習アルゴリズムである。
我々は,CGAの収束特性を理論的に解析し,MNISTおよびCIFAR-10データセットから採取した非IIDデータ分布の効率性を示す。
実験では,既存の最先端分散学習アルゴリズムよりもcgaの学習性能が優れており,ピアツーピア通信のオーバーヘッドを低減するために情報圧縮性能が向上していることを示す。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - DIMAT: Decentralized Iterative Merging-And-Training for Deep Learning Models [21.85879890198875]
Decentralized Iterative Merging-And-Training (DIMAT) は、新しい分散深層学習アルゴリズムである。
DIMATは, 独立・同一分散(IID)および非IIDデータを用いて, 通信オーバヘッドの低減を図ることにより, より高速かつ高い初期ゲインが得られることを示す。
このDIMATパラダイムは未来の分散学習に新たな機会を与え、疎結合な通信計算で現実世界への適応性を高める。
論文 参考訳（メタデータ） (2024-04-11T18:34:29Z) - Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。
モデルはGCNを適用するために初期グラフを事前に推定する。
一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
論文 参考訳（メタデータ） (2024-02-25T07:03:37Z) - Cross-feature Contrastive Loss for Decentralized Deep Learning on
Heterogeneous Data [8.946847190099206]
異種データに基づく分散学習のための新しい手法を提案する。
一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。
実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
論文 参考訳（メタデータ） (2023-10-24T14:48:23Z) - Structured Cooperative Learning with Graphical Model Priors [98.53322192624594]
ローカルデータに制限のある分散デバイス上で、さまざまなタスクに対してパーソナライズされたモデルをトレーニングする方法を研究する。
本稿では,デバイス間の協調グラフをグラフィカルモデルにより生成する「構造化協調学習(SCooL)」を提案する。
SCooLを評価し,既存の分散学習手法と比較した。
論文 参考訳（メタデータ） (2023-06-16T02:41:31Z) - Global Update Tracking: A Decentralized Learning Algorithm for
Heterogeneous Data [14.386062807300666]
本稿では,デバイス間のデータ分散の変化の影響を受けにくい分散学習アルゴリズムの設計に焦点をあてる。
我々は,分散学習における異種データの影響を,通信オーバーヘッドを伴わずに緩和することを目的とした,新たなトラッキングベース手法であるGUTを提案する。
提案手法は,既存手法と比較して1～6%の精度向上により,異種データの分散学習における最先端性能を実現する。
論文 参考訳（メタデータ） (2023-05-08T15:48:53Z) - Neighborhood Gradient Clustering: An Efficient Decentralized Learning
Method for Non-IID Data Distributions [5.340730281227837]
現在の最先端の分散アルゴリズムは、主にデータ分散が独立的で、明確に分散していると仮定している。
textitNeighborhood Gradient Clustering (NGC) は,各エージェントの局所勾配を自己および横断的情報を用いて修正する,分散学習アルゴリズムである。
論文 参考訳（メタデータ） (2022-09-28T19:28:54Z) - Federated XGBoost on Sample-Wise Non-IID Data [8.49189353769386]
決定木ベースのモデル、特にXGBoostは、非IIDデータを扱うことができる。
本稿では,Federated XGBoostが非IID分布に与える影響について検討する。
論文 参考訳（メタデータ） (2022-09-03T06:14:20Z) - Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。
グラフが現在の勾配を混合する能力を定量化する計量法を提案する。
そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文 参考訳（メタデータ） (2022-04-13T15:54:35Z) - Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。
今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。
実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。
本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
論文 参考訳（メタデータ） (2021-02-18T13:49:28Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。