論文の概要: Time-independent Generalization Bounds for SGLD in Non-convex Settings

• arxiv url: http://arxiv.org/abs/2111.12876v1
• Date: Thu, 25 Nov 2021 02:31:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 16:12:34.036017
• Title: Time-independent Generalization Bounds for SGLD in Non-convex Settings
• Title（参考訳）: 非凸設定におけるSGLDの時間非依存一般化境界
• Authors: Tyler Farghly, Patrick Rebeschini
• Abstract要約: 分離性およびユークリッド勾配射影の仮定に基づき,ランゲヴィン力学(SGLD)の一般化誤差境界を一定の学習率で確立する。 我々の分析は、異なる離散化法を使用する変種や、非is-is-noiseプロジェクションを使用する変種もサポートする。
• 参考スコア（独自算出の注目度）: 23.833787505938858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish generalization error bounds for stochastic gradient Langevin dynamics (SGLD) with constant learning rate under the assumptions of dissipativity and smoothness, a setting that has received increased attention in the sampling/optimization literature. Unlike existing bounds for SGLD in non-convex settings, ours are time-independent and decay to zero as the sample size increases. Using the framework of uniform stability, we establish time-independent bounds by exploiting the Wasserstein contraction property of the Langevin diffusion, which also allows us to circumvent the need to bound gradients using Lipschitz-like assumptions. Our analysis also supports variants of SGLD that use different discretization methods, incorporate Euclidean projections, or use non-isotropic noise.
• Abstract（参考訳）: 本研究では, 確率勾配ランゲヴィン力学(SGLD)の一般化誤差境界を, 分散性と滑らか性の仮定の下で一定学習率で確立し, サンプリング/最適化の文献で注目を集めている。 非凸設定におけるSGLDの既存の境界とは異なり、サンプルサイズが大きくなるにつれて、我々の境界は時間に依存しずゼロに崩壊する。 一様安定性の枠組みを用いて、ランジュバン拡散のワッサーシュタイン収縮特性を利用して時間独立な境界を確立することにより、リプシッツのような仮定を用いた境界勾配の必要性を回避できる。 また,異なる離散化法,ユークリッド投影法,非等方性雑音を用いたsgldの変種もサポートする。

関連論文リスト

• Time-Independent Information-Theoretic Generalization Bounds for SGLD [4.73194777046253]
  ランゲヴィン力学データセットに対する新しい情報理論の一般化境界を提供する。 私たちの境界は滑らかさと散逸の仮定に基づいており、指数的ではない。
  論文  参考訳（メタデータ） (2023-11-02T07:42:23Z)
• Generalization Bounds for Label Noise Stochastic Gradient Descent [0.0]
  非測定条件でのラベルノイズを伴う勾配降下(SGD)の一般化誤差境界について検討する。 我々の分析はラベルノイズの影響についての洞察を与える。
  論文  参考訳（メタデータ） (2023-11-01T03:51:46Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)
• Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
  グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
  論文  参考訳（メタデータ） (2020-04-06T17:11:03Z)
• Dimension-free convergence rates for gradient Langevin dynamics in RKHS [47.198067414691174]
  グラディエントランゲヴィンダイナミクス(GLD)とSGLDは近年注目されている。 空間が無限次元空間であるとき、収束解析 GLD と SGLD を提供する。
  論文  参考訳（メタデータ） (2020-02-29T17:14:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。