論文の概要: Stability and Generalization for Decentralized Markov SGD

• arxiv url: http://arxiv.org/abs/2605.01701v1
• Date: Sun, 03 May 2026 03:58:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.890591
• Title: Stability and Generalization for Decentralized Markov SGD
• Title（参考訳）: 分散マルコフSGDの安定性と一般化
• Authors: Jiahuan Wang, Ziqing Wen, Ping Luo, Dongsheng Li, Tao Sun,
• Abstract要約: 分散勾配勾配(SGD)と勾配勾配(SGDA)の安定性と一般化について検討する。 我々はマルコフ的依存と分散コミュニケーションが一般化行動にどのように影響するかを特徴付ける。 両アルゴリズムの非漸近一般化境界を確立する。
• 参考スコア（独自算出の注目度）: 41.8909496809588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic gradient methods are central to large-scale learning, yet their generalization theory typically relies on independent sampling assumptions. In many practical applications, data are generated by Markov chains and learning is performed in a decentralized manner, which introduces significant analytical challenges. In this work, we investigate the stability and generalization of decentralized stochastic gradient descent (SGD) and stochastic gradient descent ascent (SGDA) under Markov chain sampling. Leveraging a stability-based framework, we characterize how Markovian dependence and decentralized communication jointly influence generalization behavior. Our analysis captures the effects of network topology, Markov chain mixing properties, and primal-dual dynamics. We establish non-asymptotic generalization bounds for both algorithms, extending existing results on Markov stochastic gradient methods to decentralized and minimax settings.
• Abstract（参考訳）: 確率勾配法は大規模学習の中心であるが、その一般化理論は一般に独立したサンプリング仮定に依存する。 多くの実践的応用において、データはマルコフ連鎖によって生成され、学習は分散的に行われる。 本研究では,マルコフ連鎖サンプリング下での分散確率勾配勾配勾配(SGD)と確率勾配勾配勾配(SGDA)の安定性と一般化について検討する。 安定性に基づくフレームワークを活用することで、マルコフの依存と分散コミュニケーションが一般化行動にどのように影響するかを特徴付ける。 本分析は,ネットワークトポロジ,マルコフ連鎖混合特性,原始双対力学の影響を捉える。 両アルゴリズムの非漸近一般化境界を確立し、マルコフ確率勾配法における既存の結果を分散化およびミニマックス設定に拡張する。

関連論文リスト

• Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization [71.33048115652474]
  バイレベル最適化(SBO)は、最近多くの機械学習パラダイムに統合されている。 本稿では,二段階最適化手法の体系的解析について述べる。 結果は再読解を必要とせず、より汎用的な目的関数に適用できる。
  論文  参考訳（メタデータ） (2026-04-05T12:12:58Z)
• Uncertainty quantification for Markov chain induced martingales with application to temporal difference learning [55.197497603087065]
  線形関数近似を用いた時間差分学習アルゴリズムの性能解析を行った。 マルコフ連鎖によって誘導されるベクトル値マルティンタに対する新規で一般的な高次元濃度不等式とベリー-エッセイン境界を確立する。
  論文  参考訳（メタデータ） (2025-02-19T15:33:55Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Stochastic Gradient Descent under Markovian Sampling Schemes [3.04585143845864]
  マルコフ型サンプリングスキームにのみアクセス可能なバニラ勾配勾配の変動について検討する。 我々は、基礎となるマルコフ連鎖で可能な最小限の制限的な仮定の下で収束率を得ることに焦点をあてる。
  論文  参考訳（メタデータ） (2023-02-28T09:18:00Z)
• Stability and Generalization for Markov Chain Stochastic Gradient Methods [49.981789906200035]
  本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。 我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。 コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
  論文  参考訳（メタデータ） (2022-09-16T15:42:51Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent [17.63112147669365]
  勾配に基づく手法の安定性と一般化は、機械学習モデルの性能に関する貴重な洞察を提供する。 まず、分散勾配勾配の安定性と保証を確立する。 我々の結果は、いくつかの一般的な仮定に基づいて構築され、分散化は初めて悪化する。
  論文  参考訳（メタデータ） (2021-02-02T04:23:23Z)
• Stable and consistent density-based clustering via multiparameter persistence [49.1574468325115]
  トポロジカルデータ解析による次数-リップス構成について考察する。 我々は,入力データの摂動に対する安定性を,通信間距離を用いて解析する。 私たちはこれらのメソッドを、Persistableと呼ばれる密度ベースのクラスタリングのためのパイプラインに統合します。
  論文  参考訳（メタデータ） (2020-05-18T19:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。