論文の概要: Generalization Bounds for Stochastic Gradient Langevin Dynamics: A Unified View via Information Leakage Analysis

• arxiv url: http://arxiv.org/abs/2112.08439v1
• Date: Tue, 14 Dec 2021 06:45:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-18 13:11:25.875284
• Title: Generalization Bounds for Stochastic Gradient Langevin Dynamics: A Unified View via Information Leakage Analysis
• Title（参考訳）: 確率勾配ランジュバンダイナミクスのための一般化境界:情報漏洩解析による統一ビュー
• Authors: Bingzhe Wu, Zhicong Liang, Yatao Bian, ChaoChao Chen, Junzhou Huang, Yuan Yao
• Abstract要約: プライバシリーク解析からSGLDのバウンダリを解析するための統一的な一般化を提案する。 また,情報漏洩問題SGLDを評価するために,様々な数値最小化を行う。
• 参考スコア（独自算出の注目度）: 49.402932368689775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, generalization bounds of the non-convex empirical risk minimization paradigm using Stochastic Gradient Langevin Dynamics (SGLD) have been extensively studied. Several theoretical frameworks have been presented to study this problem from different perspectives, such as information theory and stability. In this paper, we present a unified view from privacy leakage analysis to investigate the generalization bounds of SGLD, along with a theoretical framework for re-deriving previous results in a succinct manner. Aside from theoretical findings, we conduct various numerical studies to empirically assess the information leakage issue of SGLD. Additionally, our theoretical and empirical results provide explanations for prior works that study the membership privacy of SGLD.
• Abstract（参考訳）: 近年、SGLD(Stochastic Gradient Langevin Dynamics)を用いた非凸経験的リスク最小化パラダイムの一般化境界が広く研究されている。 情報理論や安定性など、様々な観点からこの問題を研究するための理論的枠組みが提示されている。 本稿では,SGLDの一般化限界を考察するために,プライバシー漏洩解析からの統一的な視点と,過去の結果を簡潔に導出するための理論的枠組みを提案する。 理論的知見は別として,SGLDの情報漏洩問題を実証的に評価するために,様々な数値的研究を行っている。 さらに,sgldのメンバシッププライバシを研究する先行研究について,理論的および実証的な説明を提供する。

関連論文リスト

• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• Understanding Forgetting in Continual Learning with Linear Regression [21.8755265936716]
  連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。 十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
  論文  参考訳（メタデータ） (2024-05-27T18:33:37Z)
• Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective [11.255943520955764]
  本稿では,Renyiのエントロピーをカーネル化した新しい情報理論尺度を提案する。 我々は,Renyiエントロピーのカーネル化の下で,勾配/ランジュバン降下(SGD/SGLD)学習アルゴリズムの一般化誤差境界を確立する。 我々の情報理論的境界は勾配の統計に依存しており、現在のSOTA(State-of-the-art)結果よりも厳密であることを示す。
  論文  参考訳（メタデータ） (2023-05-02T01:17:15Z)
• Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions [13.431453056203226]
  ワッサースタイン降下(SGD)における重尾現象は、いくつかの経験的な観測が報告されている。 本稿では一般化関数と一般勾配関数のバウンダリを開発する。 彼らは最近、損失関数の一般性のおかげで、経験的な観測により多くの光を当てた。
  論文  参考訳（メタデータ） (2023-01-27T17:57:35Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Learning While Dissipating Information: Understanding the Generalization Capability of SGLD [9.328633662865682]
  勾配ランゲヴィンダイナミクス(SGLD)を解析してアルゴリズム依存の一般化を導出する。 分析の結果,学習と情報伝達の複雑なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2021-02-05T03:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。