論文の概要: Yes, Topology Matters in Decentralized Optimization: Refined Convergence
and Topology Learning under Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2204.04452v1
- Date: Sat, 9 Apr 2022 11:29:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 06:08:13.566417
- Title: Yes, Topology Matters in Decentralized Optimization: Refined Convergence
and Topology Learning under Heterogeneous Data
- Title（参考訳）: 分散最適化におけるトポロジーの意義--不均一データに基づく再収束とトポロジー学習
- Authors: B. Le Bars and A. Bellet and M. Tommasi and AM. Kermarrec
- Abstract要約: 本稿では,分散学習アルゴリズムD-SGD(Decentralized Gradient Descent Algorithm)をデータ不均一性の下で再検討する。
我々は、D-SGDの収束速度において、近隣の不均一性と呼ばれる新しい量によって果たす重要な役割を示す。
エージェント分布のトポロジとヘテロジニティを結合することにより、分散学習におけるこれらの2つの概念間の不十分な相互作用に光を当てる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the key challenges in federated and decentralized learning is to
design algorithms that efficiently deal with highly heterogeneous data
distributions across agents. In this paper, we revisit the analysis of
Decentralized Stochastic Gradient Descent algorithm (D-SGD), a popular
decentralized learning algorithm, under data heterogeneity. We exhibit the key
role played by a new quantity, that we call neighborhood heterogeneity, on the
convergence rate of D-SGD. Unlike prior work, neighborhood heterogeneity is
measured at the level of the neighborhood of an agent in the graph topology. By
coupling the topology and the heterogeneity of the agents' distributions, our
analysis sheds light on the poorly understood interplay between these two
concepts in decentralized learning. We then argue that neighborhood
heterogeneity provides a natural criterion to learn sparse data-dependent
topologies that reduce (and can even eliminate) the otherwise detrimental
effect of data heterogeneity on the convergence time of D-SGD. For the
important case of classification with label skew, we formulate the problem of
learning such a good topology as a tractable optimization problem that we solve
with a Frank-Wolfe algorithm. Our approach provides a principled way to design
a sparse topology that balances the number of iterations and the per-iteration
communication costs of D-SGD under data heterogeneity.
- Abstract（参考訳）: 連合学習と分散学習の重要な課題の1つは、エージェント間の高度に異質なデータ分散を効率的に扱うアルゴリズムを設計することである。
本稿では,分散化確率勾配降下アルゴリズム (d-sgd) の解析を,データの不均一性のもとで再検討する。
我々は,d-sgdの収束速度において,近傍の不均一性と呼ばれる新しい量によって果たす重要な役割を示す。
以前の仕事とは異なり、近傍の不均一性はグラフトポロジー内のエージェントの近傍のレベルで測定される。
エージェント分布のトポロジとヘテロジニティを結合することにより、分散学習におけるこれらの2つの概念間の不十分な相互作用に光を当てる。
次に,d-sgdの収束時間に対するデータ不均質性の影響を減少させる(かつ排除できる)スパースなデータ依存トポロジを学習するための自然な基準を近傍不均質性が与えていると論じる。
ラベルスキューを用いた分類の重要な場合について,frank-wolfeアルゴリズムを用いて解くような扱いやすい最適化問題として,適切なトポロジーを学習する問題を定式化する。
提案手法は,データヘテロジニティ下でのD-SGDの反復数と着手間通信コストのバランスをとる,疎位相を設計する手法である。
関連論文リスト
- Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Stability and Generalization of the Decentralized Stochastic Gradient
Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。
本研究は,D-SGDAの一般化における各因子の影響を解析した。
また、最適凸凹設定を得るために一般化とバランスをとる。
論文 参考訳（メタデータ） (2023-10-31T11:27:01Z) - Distributed Linear Regression with Compositional Covariates [5.085889377571319]
大規模合成データにおける分散スパースペナル化線形ログコントラストモデルに着目する。
2つの異なる制約凸最適化問題を解くために2つの分散最適化手法を提案する。
分散化されたトポロジでは、通信効率の高い正規化推定値を得るための分散座標ワイド降下アルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-10-21T11:09:37Z) - Addressing Data Heterogeneity in Decentralized Learning via Topological
Pre-processing [0.9645196221785693]
本稿では,プロキシベースの局所異種DLトポロジの構築による収束性の向上とデータプライバシの維持のメリットを示す。
最終学習グラフに配置する前に、ピアを効率的にクラスタ化するための新しいピアクランプ戦略を提案する。
論文 参考訳（メタデータ） (2022-12-16T22:46:38Z) - Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。
グラフが現在の勾配を混合する能力を定量化する計量法を提案する。
そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文 参考訳（メタデータ） (2022-04-13T15:54:35Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Domain Adaptation by Topology Regularization [0.0]
ドメイン適応(DA)または転送学習(TL)は、ラベル付き(ソース)データセットから関心のある(ターゲット)データセットに知識を転送するアルゴリズムを可能にする。
本稿では,TLに永続ホモロジーと呼ばれる位相データ解析手法を適用し,グローバルなデータ構造を活用することを提案する。
論文 参考訳（メタデータ） (2021-01-28T16:45:41Z) - A Unified Theory of Decentralized SGD with Changing Topology and Local
Updates [70.9701218475002]
分散通信方式の統一収束解析を導入する。
いくつかの応用に対して普遍収束率を導出する。
私たちの証明は弱い仮定に依存している。
論文 参考訳（メタデータ） (2020-03-23T17:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。