論文の概要: DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over
Graphs
- arxiv url: http://arxiv.org/abs/2208.13810v1
- Date: Mon, 29 Aug 2022 18:01:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-31 13:13:26.486892
- Title: DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over
Graphs
- Title（参考訳）: DR-DSGD:グラフ上の分散ロバストな分散学習アルゴリズム
- Authors: Chaouki Ben Issaid, Anis Elgabli and Mehdi Bennis
- Abstract要約: 本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。
Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。
提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
- 参考スコア（独自算出の注目度）: 54.08445874064361
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose to solve a regularized distributionally robust
learning problem in the decentralized setting, taking into account the data
distribution shift. By adding a Kullback-Liebler regularization function to the
robust min-max optimization problem, the learning problem can be reduced to a
modified robust minimization problem and solved efficiently. Leveraging the
newly formulated optimization problem, we propose a robust version of
Decentralized Stochastic Gradient Descent (DSGD), coined Distributionally
Robust Decentralized Stochastic Gradient Descent (DR-DSGD). Under some mild
assumptions and provided that the regularization parameter is larger than one,
we theoretically prove that DR-DSGD achieves a convergence rate of
$\mathcal{O}\left(1/\sqrt{KT} + K/T\right)$, where $K$ is the number of devices
and $T$ is the number of iterations. Simulation results show that our proposed
algorithm can improve the worst distribution test accuracy by up to $10\%$.
Moreover, DR-DSGD is more communication-efficient than DSGD since it requires
fewer communication rounds (up to $20$ times less) to achieve the same worst
distribution test accuracy target. Furthermore, the conducted experiments
reveal that DR-DSGD results in a fairer performance across devices in terms of
test accuracy.
- Abstract（参考訳）: 本稿では,分散環境での正規分布的ロバストな学習問題を,データ分布シフトを考慮した解くことを提案する。
Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな最小化問題に還元し、効率的に解ける。
新たに定式化された最適化問題を活用することで,分散確率勾配 Descent (DSGD) の頑健なバージョンを提案し,分散ロバスト分散確率勾配 Descent (DR-DSGD) を作成した。
いくつかの微妙な仮定の下で、正規化パラメータが 1 よりも大きいことを仮定し、DR-DSGD が $\mathcal{O}\left(1/\sqrt{KT} + K/T\right)$ の収束率を達成することを理論的に証明する。
シミュレーションの結果,提案アルゴリズムは最低分布検定精度を最大10\%の精度で向上できることがわかった。
さらに、DR-DSGDはDSGDよりも通信効率が良く、同じ最悪の分布テスト精度の目標を達成するのに、通信ラウンド(最大20ドル以下)が少ない。
さらに, dr-dsgdは, テスト精度の面では, デバイス間において, かなり高い性能を示すことが明らかとなった。
関連論文リスト
- Non-stationary Online Convex Optimization with Arbitrary Delays [50.46856739179311]
本稿では,非定常環境における遅延オンライン凸最適化(OCO)について検討する。
まず, 遅延勾配の勾配降下ステップを, 到着順に応じて行う単純なアルゴリズム, DOGDを提案する。
DOGDが達成した動的後悔境界を$O(sqrtbardT(P_T+1))$に削減する改良アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-05-20T07:54:07Z) - Scaling up Stochastic Gradient Descent for Non-convex Optimisation [5.908471365011942]
本稿では,共有並列計算問題に対する新しいアプローチを提案する。
2つの戦略を統一されたフレームワークに組み合わせることで、DPSGDはより良い取引計算フレームワークになります。
深層学習(DRL)問題と深層学習(DRL)問題(アドバンテージアクター - A2C)についてDPSGDにより潜在ゲインを達成できる。
論文 参考訳（メタデータ） (2022-10-06T13:06:08Z) - Adaptive Stochastic Gradient Descent for Fast and
Communication-Efficient Distributed Learning [33.590006101071765]
マスタが分散降下(SGD)アルゴリズムを$n$ワーカー上で実行したい場合について検討する。
本研究では,分散SGDの適応バージョンが非適応実装と比較して少ない時間で低い誤差値に達することを示す。
論文 参考訳（メタデータ） (2022-08-04T10:57:25Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Decentralized Stochastic Proximal Gradient Descent with Variance
Reduction over Time-varying Networks [30.231314171218994]
分散学習において、ノードのネットワークは、通常、その局所的な目的の有限サムである全体的な目的関数を最小化するために協力する。
そこで本研究では,分散縮小手法を利用して分散学習を高速化する新しいアルゴリズムDPSVRGを提案する。
論文 参考訳（メタデータ） (2021-12-20T08:23:36Z) - Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。
目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
論文 参考訳（メタデータ） (2021-10-24T14:56:38Z) - Removing Data Heterogeneity Influence Enhances Network Topology
Dependence of Decentralized SGD [15.112499553818953]
D$2$/Exact-diffusionアルゴリズムの非同相収束特性について検討する。
既存の分散アルゴリズムと比較して、D$2$/Exact-diffusionはネットワークトポロジに最も敏感です。
論文 参考訳（メタデータ） (2021-05-17T17:16:52Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-04-27T16:56:09Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳（メタデータ） (2020-04-11T03:50:59Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳（メタデータ） (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。