論文の概要: Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm

• arxiv url: http://arxiv.org/abs/2310.20369v1
• Date: Tue, 31 Oct 2023 11:27:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 15:34:14.849015
• Title: Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm
• Title（参考訳）: 分散確率勾配Descent Ascentアルゴリズムの安定性と一般化
• Authors: Miaoxi Zhu, Li Shen, Bo Du, Dacheng Tao
• Abstract要約: 本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
• 参考スコア（独自算出の注目度）: 80.94861441583275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing size of available data has attracted increasing interest in solving minimax problems in a decentralized manner for various machine learning tasks. Previous theoretical research has primarily focused on the convergence rate and communication complexity of decentralized minimax algorithms, with little attention given to their generalization. In this paper, we investigate the primal-dual generalization bound of the decentralized stochastic gradient descent ascent (D-SGDA) algorithm using the approach of algorithmic stability under both convex-concave and nonconvex-nonconcave settings. Our theory refines the algorithmic stability in a decentralized manner and demonstrates that the decentralized structure does not destroy the stability and generalization of D-SGDA, implying that it can generalize as well as the vanilla SGDA in certain situations. Our results analyze the impact of different topologies on the generalization bound of the D-SGDA algorithm beyond trivial factors such as sample sizes, learning rates, and iterations. We also evaluate the optimization error and balance it with the generalization gap to obtain the optimal population risk of D-SGDA in the convex-concave setting. Additionally, we perform several numerical experiments which validate our theoretical findings.
• Abstract（参考訳）: 利用可能なデータのサイズが大きくなるにつれて、さまざまな機械学習タスクの分散的な方法でminimax問題を解決することへの関心が高まっている。 従来の理論的研究は主に分散化ミニマックスアルゴリズムの収束率と通信複雑性に焦点が当てられ、その一般化にはほとんど注目されなかった。 本稿では、凸凹と非凸凹の両条件下でのアルゴリズム安定性のアプローチを用いて、分散確率勾配勾配上昇(D-SGDA)アルゴリズムの原始双対一般化境界について検討する。 我々の理論は、分散的な方法でアルゴリズムの安定性を洗練させ、分散化された構造がD-SGDAの安定性と一般化を損なわないことを示す。 本研究では, d-sgdaアルゴリズムの一般化がサンプルサイズ, 学習率, 反復率などの自明な要因を超えて, 異なる位相の影響を解析した。 また, 最適化誤差を評価し, 一般化ギャップとバランスをとることで, 凸凹設定におけるd-sgdaの最適人口リスクを得る。 さらに, 理論的知見を検証するための数値実験を行った。

関連論文リスト

• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data [0.261072980439312]
  非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。 理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
  論文  参考訳（メタデータ） (2023-03-01T02:13:22Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Yes, Topology Matters in Decentralized Optimization: Refined Convergence and Topology Learning under Heterogeneous Data [0.0]
  本稿では,分散学習アルゴリズムD-SGD(Decentralized Gradient Descent Algorithm)をデータ不均一性の下で再検討する。 我々は、D-SGDの収束速度において、近隣の不均一性と呼ばれる新しい量によって果たす重要な役割を示す。 エージェント分布のトポロジとヘテロジニティを結合することにより、分散学習におけるこれらの2つの概念間の不十分な相互作用に光を当てる。
  論文  参考訳（メタデータ） (2022-04-09T11:29:12Z)
• Optimal Algorithms for Decentralized Stochastic Variational Inequalities [113.43047601775453]
  この作業は、ますます重要になるが十分に理解されていない分散的な設定に集中する。 通信と局所的な繰り返しの両方の下位境界を示し、これらの下位境界に一致する最適なアルゴリズムを構築する。 我々のアルゴリズムは、分散化されたケースだけでなく、決定論的で非分散的な文献でも利用できる。
  論文  参考訳（メタデータ） (2022-02-06T13:14:02Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent [17.63112147669365]
  勾配に基づく手法の安定性と一般化は、機械学習モデルの性能に関する貴重な洞察を提供する。 まず、分散勾配勾配の安定性と保証を確立する。 我々の結果は、いくつかの一般的な仮定に基づいて構築され、分散化は初めて悪化する。
  論文  参考訳（メタデータ） (2021-02-02T04:23:23Z)
• Train simultaneously, generalize better: Stability of gradient-based minimax learners [12.691047660244331]
  コンベックス・コンベブと非コンベックス・ミニマックス・セッティングの両方において,訓練されたミニマックスモデルの性能において重要な役割を担っている。 学習したミニマックスモデルの一般化における最適化アルゴリズムの役割を示す数値的な結果について議論する。
  論文  参考訳（メタデータ） (2020-10-23T17:44:43Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。