論文の概要: Improved Stability and Generalization Analysis of the Decentralized SGD Algorithm

• arxiv url: http://arxiv.org/abs/2306.02939v1
• Date: Mon, 5 Jun 2023 15:03:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 14:22:18.831440
• Title: Improved Stability and Generalization Analysis of the Decentralized SGD Algorithm
• Title（参考訳）: 分散SGDアルゴリズムの安定性と一般化解析の改善
• Authors: Batiste Le Bars, Aur\'elien Bellet, Marc Tommasi
• Abstract要約: 本稿では,D-SGDアルゴリズムのアルゴリズム安定性に基づく新しい一般化誤差解析法を提案する。 凸設定では、グラフの選択にかかわらず、D-SGDは古典的なSGDアルゴリズムと同じ一般化境界を持つことを示す。
• 参考スコア（独自算出の注目度）: 7.874380928279553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a new generalization error analysis for the Decentralized Stochastic Gradient Descent (D-SGD) algorithm based on algorithmic stability. The obtained results largely improve upon state-of-the-art results, and even invalidate their claims that the communication graph has a detrimental effect on generalization. For instance, we show that in convex settings, D-SGD has the same generalization bounds as the classical SGD algorithm, no matter the choice of graph. We exhibit that this counter-intuitive result comes from considering the average of local parameters, which hides a final global averaging step incompatible with the decentralized scenario. In light of this observation, we advocate to analyze the supremum over local parameters and show that in this case, the graph does have an impact on the generalization. Unlike prior results, our analysis yields non-vacuous bounds even for non-connected graphs.
• Abstract（参考訳）: 本稿では,分散確率勾配 Descent (D-SGD) アルゴリズムのアルゴリズム安定性に基づく新しい一般化誤差解析法を提案する。 得られた結果は、最先端の結果を大きく改善し、通信グラフが一般化に有害な影響を与えるという主張を無効にする。 例えば、凸設定では、D-SGDはグラフの選択にかかわらず、古典的なSGDアルゴリズムと同じ一般化境界を持つことを示す。 この反直感的な結果は、分散化シナリオと互換性のない最後のグローバル平均化ステップを隠蔽する局所パラメータの平均を考えることから生じる。 この観察を踏まえて,局所パラメータ上の超越性解析を提唱し,この場合,グラフが一般化に影響を与えていることを示す。 先行結果とは異なり,本解析は非連結グラフにおいても空でない境界を与える。

関連論文リスト

• Algorithmic Stability of Stochastic Gradient Descent with Momentum under Heavy-Tailed Noise [20.922456964393213]
  重み付き雑音下での運動量(SGDm)を持つSGDの一般化境界を確立する。 二次損失関数に対して、SGDm は運動量や重みのあるテールの存在においてより悪い一般化を持つことを示す。 我々の知る限り、縮退した雑音を持つSDEにおいて、その種類の最初の結果となる一様時間離散化誤差境界を開発する。
  論文  参考訳（メタデータ） (2025-02-02T19:25:48Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• On the Convergence to a Global Solution of Shuffling-Type Gradient Algorithms [18.663264755108703]
  勾配降下アルゴリズム (SGD) は、多くの機械学習タスクにおいて選択の方法である。 本稿では,SGDが凸設定として望まれる計算一般複雑性を達成したことを示す。
  論文  参考訳（メタデータ） (2022-06-13T01:25:59Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• An improved convergence analysis for decentralized online stochastic non-convex optimization [17.386715847732468]
  本稿では,GT-Loakjasiewics(GT-Loakjasiewics)と呼ばれる手法が,GT-Loakjasiewics(GT-Loakjasiewics)が現在の収束率を満たすことを示す。 結果はすぐに適用できるだけでなく、現在知られている最高の収束率にも適用できる。
  論文  参考訳（メタデータ） (2020-08-10T15:29:13Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。