論文の概要: On Random Subset Generalization Error Bounds and the Stochastic Gradient
Langevin Dynamics Algorithm
- arxiv url: http://arxiv.org/abs/2010.10994v2
- Date: Sat, 16 Jan 2021 10:58:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 00:43:54.695921
- Title: On Random Subset Generalization Error Bounds and the Stochastic Gradient
Langevin Dynamics Algorithm
- Title(参考訳): ランダム部分集合一般化誤差境界と確率勾配ランゲヴィンダイナミクスアルゴリズムについて
- Authors: Borja Rodr\'iguez-G\'alvez, Germ\'an Bassi, Ragnar Thobaben, and
Mikael Skoglund
- Abstract要約: Hellstr"omとDurisiによって開発されたフレームワークを用いて、ランダムな部分集合に基づく予測一般化誤差境界を統一する。
我々はスタインケとザキントヒヌのランダム化サブサンプル設定に、それらの新しい類似した境界を導入する。
我々は、潜在的に大きな勾配ノルムを持つ損失関数に対してそれらを洗練する。
- 参考スコア(独自算出の注目度): 29.539406102145957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we unify several expected generalization error bounds based on
random subsets using the framework developed by Hellstr\"om and Durisi [1].
First, we recover the bounds based on the individual sample mutual information
from Bu et al. [2] and on a random subset of the dataset from Negrea et al.
[3]. Then, we introduce their new, analogous bounds in the randomized subsample
setting from Steinke and Zakynthinou [4], and we identify some limitations of
the framework. Finally, we extend the bounds from Haghifam et al. [5] for
Langevin dynamics to stochastic gradient Langevin dynamics and we refine them
for loss functions with potentially large gradient norms.
- Abstract(参考訳): 本研究では, hellstr\"om と durisi [1] によって開発されたフレームワークを用いて,ランダム部分集合に基づくいくつかの期待一般化誤差境界を統一する。
まず,Bu et al から各サンプルの相互情報に基づいて境界を復元する。
[2]およびNegreaらによるデータセットのランダムな部分集合上で。
[3].
次に、Steinke と Zakynthinou [4] からランダム化されたサブサンプル設定にそれらの新しい類似した境界を導入し、フレームワークのいくつかの制限を識別する。
最後に、haghifam と al の境界を拡張します。
5] 確率勾配ランジュバンダイナミクスへランジュバンダイナミクスを適用し, 潜在的に大きな勾配ノルムを持つ損失関数に対して, ランジュバンダイナミクスを洗練する。
関連論文リスト
- Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - Convergence of mean-field Langevin dynamics: Time and space
discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。
近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。
有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文 参考訳(メタデータ) (2023-06-12T16:28:11Z) - Generalization Bounds for Magnitude-Based Pruning via Sparse Matrix
Sketching [2.1485350418225244]
我々は、エラーが1つ、プルーニングによって引き起こされる近似、および2つのプルーニングモデルにおけるパラメータの数に依存するAroraなどの上に構築する。
破断された推定値は、高い確率で未破断された関数に近づき、第一基準を改善する。
我々は,MNISTおよびCIFAR10データセット上のReLU活性化フィードフォワードネットワークにおける新しい手法の有効性を実証的に検証した。
論文 参考訳(メタデータ) (2023-05-30T07:00:06Z) - Clipped Stochastic Methods for Variational Inequalities with
Heavy-Tailed Noise [64.85879194013407]
単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。
この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。
さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
論文 参考訳(メタデータ) (2022-06-02T15:21:55Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - The Randomized Elliptical Potential Lemma with an Application to Linear
Thompson Sampling [10.939683083130616]
逐次学習におけるアルゴリズム解析や線形バンドイットなどの意思決定問題において広く用いられている、よく知られた楕円ポテンシャル補題のランダム化版を提案する。
我々のランダム化された楕円ポテンシャル補題は、観測ノイズと問題パラメータの事前分布に関するガウスの仮定を緩和する。
論文 参考訳(メタデータ) (2021-02-16T07:30:04Z) - Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。
標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。
異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
論文 参考訳(メタデータ) (2021-01-22T20:13:59Z) - Deterministic error bounds for kernel-based learning techniques under
bounded noise [0.0]
本稿では,有限個のノイズ崩壊サンプルから関数を再構成する問題を考察する。
2つのカーネルアルゴリズム、すなわちカーネルリッジ回帰と$varepsilon$- Support vector regressionを解析する。
論文 参考訳(メタデータ) (2020-08-10T10:16:00Z) - Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。
そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。
我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文 参考訳(メタデータ) (2020-07-11T22:10:52Z) - The Heavy-Tail Phenomenon in SGD [7.366405857677226]
最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。
深層学習におけるSGDの行動に関する知見に分析結果を変換する。
論文 参考訳(メタデータ) (2020-06-08T16:43:56Z) - From Nesterov's Estimate Sequence to Riemannian Acceleration [52.99237600875452]
我々は、Nesterov氏の推定シーケンス手法の代替解析を開発し、これも独立性を持つ可能性がある。
そして、この解析をリーマン集合に拡張し、非ユークリッド構造による鍵的困難をある計量歪みに局所化する」。
論文 参考訳(メタデータ) (2020-01-24T04:17:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。