論文の概要: Stability Based Generalization Bounds for Exponential Family Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2201.03064v1
• Date: Sun, 9 Jan 2022 18:15:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 14:47:35.374893
• Title: Stability Based Generalization Bounds for Exponential Family Langevin Dynamics
• Title（参考訳）: 指数族ランゲヴィンダイナミクスのための安定性に基づく一般化境界
• Authors: Arindam Banerjee, Tiancong Chen, Xinyan Li and Yingxue Zhou
• Abstract要約: 安定性の概念に基づくノイズの多いミニバッチ反復アルゴリズムの一般化境界について検討する。 本研究では,SGLDの相当な一般化である指数型ファミリーランゲヴィンダイナミクス(EFLD)を導入し,指数型ファミリーノイズを勾配降下で利用できるようにする。 第3に,ベルヌーイ雑音を用いた信号SGDを-1,+1で拡張するノイズシグ-SGDという,EFLDの重要な特殊なケースを考える。
• 参考スコア（独自算出の注目度）: 21.26469220896393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study generalization bounds for noisy stochastic mini-batch iterative algorithms based on the notion of stability. Recent years have seen key advances in data-dependent generalization bounds for noisy iterative learning algorithms such as stochastic gradient Langevin dynamics (SGLD) based on stability (Mou et al., 2018; Li et al., 2020) and information theoretic approaches (Xu and Raginsky, 2017; Negrea et al., 2019; Steinke and Zakynthinou, 2020; Haghifam et al., 2020). In this paper, we unify and substantially generalize stability based generalization bounds and make three technical advances. First, we bound the generalization error of general noisy stochastic iterative algorithms (not necessarily gradient descent) in terms of expected (not uniform) stability. The expected stability can in turn be bounded by a Le Cam Style Divergence. Such bounds have a O(1/n) sample dependence unlike many existing bounds with O(1/\sqrt{n}) dependence. Second, we introduce Exponential Family Langevin Dynamics(EFLD) which is a substantial generalization of SGLD and which allows exponential family noise to be used with stochastic gradient descent (SGD). We establish data-dependent expected stability based generalization bounds for general EFLD algorithms. Third, we consider an important special case of EFLD: noisy sign-SGD, which extends sign-SGD using Bernoulli noise over {-1,+1}. Generalization bounds for noisy sign-SGD are implied by that of EFLD and we also establish optimization guarantees for the algorithm. Further, we present empirical results on benchmark datasets to illustrate that our bounds are non-vacuous and quantitatively much sharper than existing bounds.
• Abstract（参考訳）: 確率的ミニバッチ反復アルゴリズムの一般化境界を安定性の概念に基づいて検討する。 近年、安定性(Mou et al., 2018; Li et al., 2020)と情報理論アプローチ(Xu and Raginsky, 2017; Negrea et al., 2019; Steinke and Zakynthinou, 2020; Haghifam et al., 2020)に基づく確率勾配ランゲヴィン力学(SGLD)のような、ノイズの多い反復学習アルゴリズムに対するデータ依存の一般化バウンダリが注目されている。 本稿では,安定性に基づく一般化境界を統一し,実質的に一般化し,3つの技術的進歩を行う。 まず,一般の確率的反復アルゴリズム(必ずしも勾配降下ではない)の一般化誤差を,(一様でない)安定性の観点から限定した。 期待される安定性は、le camスタイルの分岐によって境界づけられる。 そのような境界は O(1/n) のサンプル依存を持ち、O(1/\sqrt{n}) の依存を持つ多くの既存の境界とは異なっている。 第2に,SGLDの相当な一般化である指数型ファミリーランゲヴィンダイナミクス(EFLD)を導入し,確率勾配降下(SGD)で指数型ファミリーノイズを使用できることを示した。 我々は一般efldアルゴリズムのためのデータ依存期待安定性に基づく一般化境界を確立する。 第3に, EFLD の重要な特殊事例として, {-1,+1} 上のベルヌーイ雑音を用いて, 符号-SGD を拡張するノイズ符号-SGD を考える。 ノイズの多い符号-SGDの一般化境界はEFLDによって示され、アルゴリズムの最適化保証も確立する。 さらに、ベンチマークデータセットに実験結果を示し、我々の境界が既存の境界よりも非空で定量的にシャープであることを示す。

関連論文リスト

• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• The Implicit Regularization of Dynamical Stability in Stochastic Gradient Descent [32.25490196411385]
  動的安定レンズによる勾配降下(SGD)の暗黙的正則化について検討する。 2層ReLUネットワークと対角線ネットワークの一般化特性を解析する。
  論文  参考訳（メタデータ） (2023-05-27T14:54:21Z)
• Boosting the Confidence of Generalization for $L_2$-Stable Randomized Learning Algorithms [41.082982732100696]
  適切に設計されたサブバッグプロセスは、データとアルゴリズムの両方にほぼ28の指数関数的一般化バウンダリをもたらすことを示す。 さらに、自然減衰学習率を持つ凸問題や非重み付き問題に対する高確率一般化境界を改善するために、総合的な結果を導出する。
  論文  参考訳（メタデータ） (2022-06-08T12:14:01Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。