論文の概要: Stability and Generalization of the Decentralized Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2102.01302v1
• Date: Tue, 2 Feb 2021 04:23:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-03 20:03:22.203789
• Title: Stability and Generalization of the Decentralized Stochastic Gradient Descent
• Title（参考訳）: 分散確率勾配降下の安定性と一般化
• Authors: Tao Sun, Dongsheng Li, Bao Wang
• Abstract要約: 勾配に基づく手法の安定性と一般化は、機械学習モデルの性能に関する貴重な洞察を提供する。 まず、分散勾配勾配の安定性と保証を確立する。 我々の結果は、いくつかの一般的な仮定に基づいて構築され、分散化は初めて悪化する。
• 参考スコア（独自算出の注目度）: 17.63112147669365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The stability and generalization of stochastic gradient-based methods provide valuable insights into understanding the algorithmic performance of machine learning models. As the main workhorse for deep learning, stochastic gradient descent has received a considerable amount of studies. Nevertheless, the community paid little attention to its decentralized variants. In this paper, we provide a novel formulation of the decentralized stochastic gradient descent. Leveraging this formulation together with (non)convex optimization theory, we establish the first stability and generalization guarantees for the decentralized stochastic gradient descent. Our theoretical results are built on top of a few common and mild assumptions and reveal that the decentralization deteriorates the stability of SGD for the first time. We verify our theoretical findings by using a variety of decentralized settings and benchmark machine learning models.
• Abstract（参考訳）: 確率勾配に基づく手法の安定性と一般化は、機械学習モデルのアルゴリズム性能を理解する上で貴重な洞察を与える。 深層学習のメインワークホースとして、確率勾配降下はかなりの量の研究を受けている。 しかし、コミュニティはその分散型の変種にほとんど注意を払わなかった。 本論文では,分散確率勾配降下の新たな定式化を提案する。 この定式化と(非凸最適化理論を併用して、分散確率勾配勾配の第一の安定性と一般化保証を確立する。 我々の理論的結果は、いくつかの一般的かつ穏やかな仮定に基づいて構築され、分散化が初めてsgdの安定性を低下させることが明らかとなった。 さまざまな分散設定とベンチマーク機械学習モデルを用いて理論的結果を検証する。

関連論文リスト

• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data [0.261072980439312]
  非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。 理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
  論文  参考訳（メタデータ） (2023-03-01T02:13:22Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• A simplified convergence theory for Byzantine resilient stochastic gradient descent [0.0]
  分散学習では、中央サーバは、ローカルデータサンプルを保持するノードが提供する更新に従ってモデルをトレーニングする。 1つ以上の悪意のあるサーバが存在する場合、勾配降下(SGD)のようなトレーニングモデルの標準アルゴリズムは収束しない。
  論文  参考訳（メタデータ） (2022-08-25T05:37:14Z)
• Enhancing Distributional Stability among Sub-populations [32.66329730287957]
  分散シフト下での機械学習アルゴリズムの安定性向上は、OOD(Out-of-Distribution)一般化問題の中心にある。 本稿では,モデル安定性を向上する新しい安定リスク最小化法を提案する。 実験結果は直感と一致し,アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2022-06-07T03:29:25Z)
• Optimal Algorithms for Decentralized Stochastic Variational Inequalities [113.43047601775453]
  この作業は、ますます重要になるが十分に理解されていない分散的な設定に集中する。 通信と局所的な繰り返しの両方の下位境界を示し、これらの下位境界に一致する最適なアルゴリズムを構築する。 我々のアルゴリズムは、分散化されたケースだけでなく、決定論的で非分散的な文献でも利用できる。
  論文  参考訳（メタデータ） (2022-02-06T13:14:02Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。