論文の概要: Stability and Generalization for Markov Chain Stochastic Gradient Methods

• arxiv url: http://arxiv.org/abs/2209.08005v1
• Date: Fri, 16 Sep 2022 15:42:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 12:09:02.758021
• Title: Stability and Generalization for Markov Chain Stochastic Gradient Methods
• Title（参考訳）: マルコフ連鎖確率勾配法の安定性と一般化
• Authors: Puyu Wang, Yunwen Lei, Yiming Ying, Ding-Xuan Zhou
• Abstract要約: 本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。 我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。 コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
• 参考スコア（独自算出の注目度）: 49.981789906200035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently there is a large amount of work devoted to the study of Markov chain stochastic gradient methods (MC-SGMs) which mainly focus on their convergence analysis for solving minimization problems. In this paper, we provide a comprehensive generalization analysis of MC-SGMs for both minimization and minimax problems through the lens of algorithmic stability in the framework of statistical learning theory. For empirical risk minimization (ERM) problems, we establish the optimal excess population risk bounds for both smooth and non-smooth cases by introducing on-average argument stability. For minimax problems, we develop a quantitative connection between on-average argument stability and generalization error which extends the existing results for uniform stability \cite{lei2021stability}. We further develop the first nearly optimal convergence rates for convex-concave problems both in expectation and with high probability, which, combined with our stability results, show that the optimal generalization bounds can be attained for both smooth and non-smooth cases. To the best of our knowledge, this is the first generalization analysis of SGMs when the gradients are sampled from a Markov process.
• Abstract（参考訳）: 近年,マルコフ連鎖確率勾配法(mc-sgms)の研究が盛んに行われている。 本稿では,統計学習理論の枠組みにおけるアルゴリズム安定性のレンズによる最小化問題と最小化問題の両方に対するMC-SGMの包括的一般化解析を行う。 経験的リスク最小化 (erm) 問題に対して, 平均的議論安定性を導入することにより, 平滑および非スムースにおける最適超過集団リスク境界を確立する。 ミニマックス問題に対しては、平均引数安定性と一般化誤差を定量的に関連付けることにより、一様安定性に対する既存の結果を拡張する。 さらに、期待値と高い確率で凸凹問題に対する最初のほぼ最適収束率を開発し、安定度と組み合わせることで、滑らかかつ非滑らかな場合に最適な一般化境界が得られることを示す。 我々の知る限りでは、これはマルコフ過程から勾配がサンプリングされるときの最初のSGMの一般化解析である。

関連論文リスト

• Multiple Greedy Quasi-Newton Methods for Saddle Point Problems [0.0]
  ヘッセン点問題の解法としてMultiple Greedysi-SP(MGSR1-SP)法を提案する。 本手法は安定性と効率性を両立させる。 その結果、MGSR1-SPの性能は幅広い機械学習アプリケーションで確認された。
  論文  参考訳（メタデータ） (2024-08-01T02:40:37Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• On the Global Solution of Soft k-Means [159.23423824953412]
  本稿では,ソフトk-平均問題の解法を全世界で提案する。 ミニマルボリュームソフトkMeans (MVSkM) と呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-07T12:06:55Z)
• Stability and Generalization of Stochastic Optimization with Nonconvex and Nonsmooth Problems [34.68590236021379]
  本稿では,アルゴリズム的安定度と定量的勾配と人口間のギャップについて述べる。 これらのアルゴリズムを、暗黙の規則的な反復ステップサイズと適応勾配勾配を達成するためにどのように適用するかを示す。
  論文  参考訳（メタデータ） (2022-06-14T18:14:30Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。