Fugu-MT 論文翻訳(概要): Mean-field Analysis of Generalization Errors

論文の概要: Mean-field Analysis of Generalization Errors

arxiv url: http://arxiv.org/abs/2306.11623v1
Date: Tue, 20 Jun 2023 15:49:09 GMT
ステータス: 処理完了
システム内更新日: 2023-06-21 13:46:29.493552
Title: Mean-field Analysis of Generalization Errors
Title（参考訳）: 一般化誤差の平均場解析
Authors: Gholamali Aminian, Samuel N. Cohen, {\L}ukasz Szpruch
Abstract要約: KL-正則化経験的リスク最小化問題を考察し、一般化誤差収束率(英語版)が$n$のサンプルでトレーニングする場合は$mathcalO (1/n)$であるような一般的な条件を確立する。平均場状態における一層ニューラルネットワークによる教師あり学習の文脈では、これらの条件は、損失と活性化関数に対する適切な積分性と規則性仮定に反映される。
参考スコア（独自算出の注目度）: 1.1344265020822928
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: We propose a novel framework for exploring weak and $L_2$ generalization errors of algorithms through the lens of differential calculus on the space of probability measures. Specifically, we consider the KL-regularized empirical risk minimization problem and establish generic conditions under which the generalization error convergence rate, when training on a sample of size $n$, is $\mathcal{O}(1/n)$. In the context of supervised learning with a one-hidden layer neural network in the mean-field regime, these conditions are reflected in suitable integrability and regularity assumptions on the loss and activation functions.
Abstract（参考訳）: 確率測度空間上の微分積分のレンズによるアルゴリズムの弱いおよび$L_2$一般化誤差を探索する新しい枠組みを提案する。具体的には、kl-正規化経験的リスク最小化問題を検討し、一般化誤差収束率が$n$のサンプルでトレーニングする場合に$\mathcal{o}(1/n)$となるような一般的な条件を確立する。平均場状態における一層ニューラルネットワークによる教師あり学習の文脈では、これらの条件は、損失と活性化関数に対する適切な積分性と規則性仮定に反映される。

関連論文リスト

Understanding Transfer Learning via Mean-field Analysis [5.7150083558242075]
我々は、KL規則化された経験的リスク最小化を用いて、$alpha$-ERMとファインチューニングの2つの主要なトランスファー学習シナリオを検討する。平均場状態における一層ニューラルネットワークを用いたトランスファーラーニングの利点を示す。
論文参考訳（メタデータ） (2024-10-22T16:00:44Z)
Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文参考訳（メタデータ） (2024-10-22T10:19:27Z)
On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
論文参考訳（メタデータ） (2024-10-21T14:53:12Z)
Generalization Error of the Tilted Empirical Risk [17.48212403081267]
教師付き統計学習アルゴリズムの一般化誤差(リスク)は、これまで見られなかったデータに対する予測能力を定量化する。指数傾斜にインスパイアされたLi et al. (2021) は、機械学習アプリケーションのための非線形リスク指標として傾いた経験的リスクを提案した。
論文参考訳（メタデータ） (2024-09-28T18:31:51Z)
A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文参考訳（メタデータ） (2023-03-17T16:30:51Z)
Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文参考訳（メタデータ） (2022-01-21T02:46:57Z)
Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文参考訳（メタデータ） (2021-06-28T00:38:54Z)
Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文参考訳（メタデータ） (2021-06-15T18:34:41Z)
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文参考訳（メタデータ） (2020-11-05T08:04:34Z)
The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks [36.753907384994704]
ニューラルネットワークにおける重要な問題は、最も適切な数の隠れたニューロンを選択し、厳密な統計的リスク境界を得ることである。我々は、$L_1$正規化が一般化誤差を制御し、入力次元を分散させることができることを示す。過剰な数のニューロンは、必ずしも適切な正規化の下で一般化誤差を増大させるとは限らない。
論文参考訳（メタデータ） (2020-10-02T15:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。