論文の概要: Mean-field Analysis of Generalization Errors
- arxiv url: http://arxiv.org/abs/2306.11623v1
- Date: Tue, 20 Jun 2023 15:49:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 13:46:29.493552
- Title: Mean-field Analysis of Generalization Errors
- Title(参考訳): 一般化誤差の平均場解析
- Authors: Gholamali Aminian, Samuel N. Cohen, {\L}ukasz Szpruch
- Abstract要約: KL-正則化経験的リスク最小化問題を考察し、一般化誤差収束率(英語版)が$n$のサンプルでトレーニングする場合は$mathcalO (1/n)$であるような一般的な条件を確立する。
平均場状態における一層ニューラルネットワークによる教師あり学習の文脈では、これらの条件は、損失と活性化関数に対する適切な積分性と規則性仮定に反映される。
- 参考スコア(独自算出の注目度): 1.1344265020822928
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We propose a novel framework for exploring weak and $L_2$ generalization
errors of algorithms through the lens of differential calculus on the space of
probability measures. Specifically, we consider the KL-regularized empirical
risk minimization problem and establish generic conditions under which the
generalization error convergence rate, when training on a sample of size $n$,
is $\mathcal{O}(1/n)$. In the context of supervised learning with a one-hidden
layer neural network in the mean-field regime, these conditions are reflected
in suitable integrability and regularity assumptions on the loss and activation
functions.
- Abstract(参考訳): 確率測度空間上の微分積分のレンズによるアルゴリズムの弱いおよび$L_2$一般化誤差を探索する新しい枠組みを提案する。
具体的には、kl-正規化経験的リスク最小化問題を検討し、一般化誤差収束率が$n$のサンプルでトレーニングする場合に$\mathcal{o}(1/n)$となるような一般的な条件を確立する。
平均場状態における一層ニューラルネットワークによる教師あり学習の文脈では、これらの条件は、損失と活性化関数に対する適切な積分性と規則性仮定に反映される。
関連論文リスト
- Equivalence of the Empirical Risk Minimization to Regularization on the
Family of f-Divergences [49.853843995972085]
経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。
関数の特定の選択に対する解の例は、$f$である。
論文 参考訳(メタデータ) (2024-02-01T11:12:00Z) - A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。
このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。
定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文 参考訳(メタデータ) (2023-03-17T16:30:51Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳(メタデータ) (2022-01-21T02:46:57Z) - The Geometry of Adversarial Training in Binary Classification [1.2891210250935143]
我々は,非パラメトリック二分分類における対角的学習問題の族と正規化リスク最小化問題の族との同値性を確立する。
結果として生じる正規化リスク最小化問題は、$L1+$(非局所)$operatornameTV$の正確な凸緩和を許容する。
論文 参考訳(メタデータ) (2021-11-26T17:19:50Z) - Decentralized Feature-Distributed Optimization for Generalized Linear
Models [19.800898945436384]
一般化線形モデルに対する「オール・フォー・ワン」分散学習問題を考える。
各サンプルの特徴は、ネットワーク内の複数の協調エージェントに分割されるが、応答変数を観察するエージェントは1つだけである。
問題の等価なサドル点定式化にシャンブル-ポック原始-双対アルゴリズムを適用する。
論文 参考訳(メタデータ) (2021-10-28T16:42:47Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳(メタデータ) (2021-06-28T00:38:54Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳(メタデータ) (2021-06-15T18:34:41Z) - Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。
重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。
教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文 参考訳(メタデータ) (2020-12-14T10:36:06Z) - Towards Optimal Problem Dependent Generalization Error Bounds in
Statistical Learning Theory [11.840747467007963]
我々は,「ベスト勾配仮説」で評価された分散,有効損失誤差,ノルムとほぼ最適にスケールする問題依存率について検討する。
一様局所収束(uniform localized convergence)と呼ばれる原理的枠組みを導入する。
我々は,既存の一様収束と局所化解析のアプローチの基本的制約を,我々のフレームワークが解決していることを示す。
論文 参考訳(メタデータ) (2020-11-12T04:07:29Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks [36.753907384994704]
ニューラルネットワークにおける重要な問題は、最も適切な数の隠れたニューロンを選択し、厳密な統計的リスク境界を得ることである。
我々は、$L_1$正規化が一般化誤差を制御し、入力次元を分散させることができることを示す。
過剰な数のニューロンは、必ずしも適切な正規化の下で一般化誤差を増大させるとは限らない。
論文 参考訳(メタデータ) (2020-10-02T15:23:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。