論文の概要: A generalization gap estimation for overparameterized models via
Langevin functional variance
- arxiv url: http://arxiv.org/abs/2112.03660v1
- Date: Tue, 7 Dec 2021 12:43:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 14:29:13.967309
- Title: A generalization gap estimation for overparameterized models via
Langevin functional variance
- Title(参考訳): ランジュバン関数分散による過パラメータモデルの一般化ギャップ推定
- Authors: Akifumi Okuno, Keisuke Yano
- Abstract要約: 一般化ギャップとは、一般化ギャップと経験的誤差の差である。
関数分散はパラメータ化設定を超越しても一般化ギャップを特徴付けることを示す。
本稿では,関数分散の計算効率の良い近似,関数分散のランジュバン近似(Langevin FV)を提案する。
- 参考スコア(独自算出の注目度): 8.22379888383833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper discusses estimating the generalization gap, a difference between
a generalization gap and an empirical error, for overparameterized models
(e.g., neural networks). We first show that a functional variance, a key
concept in defining a widely-applicable information criterion, characterizes
the generalization gap even in overparameterized settings, where a conventional
theory cannot be applied. We next propose a computationally efficient
approximation of the function variance, a Langevin approximation of the
functional variance~(Langevin FV). This method leverages the 1st-order but not
the 2nd-order gradient of the squared loss function; so, it can be computed
efficiently and implemented consistently with gradient-based optimization
algorithms. We demonstrate the Langevin FV numerically in estimating
generalization gaps of overparameterized linear regression and non-linear
neural network models.
- Abstract(参考訳): 本稿では,過パラメータモデル(ニューラルネットワークなど)に対する一般化ギャップの推定,一般化ギャップと経験的誤差の差について述べる。
まず,広範に適用可能な情報基準を定義する上で重要な概念である関数分散が,従来の理論を適用できない過度なパラメータ設定においても,一般化ギャップを特徴付けることを示す。
次に,関数分散の計算効率の高い近似,関数分散のランジュバン近似(ランジュバンfv)を提案する。
この方法は、二乗損失関数の2階勾配ではなく1階勾配を利用するので、効率よく計算でき、勾配に基づく最適化アルゴリズムと一貫して実装できる。
過パラメータ線形回帰モデルと非線形ニューラルネットワークモデルの一般化ギャップを推定するために、Langevin FVを数値的に示す。
関連論文リスト
- Learning Memory Kernels in Generalized Langevin Equations [6.222135766747873]
一般化ランゲヴィン方程式におけるメモリカーネル学習のための新しい手法を提案する。
このアプローチは最初、軌道データから相関関数を推定するために正規化Prony法を使用し、続いてRKHS正則化を伴うソボレフノルムに基づく損失関数の回帰を行う。
論文 参考訳(メタデータ) (2024-02-18T21:01:49Z) - Optimal Nonlinearities Improve Generalization Performance of Random
Features [0.9790236766474201]
非線形活性化関数を持つランダム特徴モデルは、訓練および一般化誤差の観点からガウスモデルと実演的に等価であることが示されている。
ガウスモデルから取得したパラメータが最適非線形性の集合を定義できることを示す。
最適化された非線形性はReLUのような広く使われている非線形関数よりも優れた一般化性能が得られることを示す。
論文 参考訳(メタデータ) (2023-09-28T20:55:21Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳(メタデータ) (2023-01-16T02:57:37Z) - Adaptive LASSO estimation for functional hidden dynamic geostatistical
model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。
このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文 参考訳(メタデータ) (2022-08-10T19:17:45Z) - Noise Estimation in Gaussian Process Regression [1.5002438468152661]
提案手法は, 相関誤差の分散と雑音の分散を, 限界確率関数の最大化に基づいて推定することができる。
従来のパラメータ最適化と比較して,提案手法の計算上の利点とロバスト性を示す。
論文 参考訳(メタデータ) (2022-06-20T19:36:03Z) - Support estimation in high-dimensional heteroscedastic mean regression [2.28438857884398]
ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。
我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。
得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
論文 参考訳(メタデータ) (2020-11-03T09:46:31Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - On the Estimation of Derivatives Using Plug-in Kernel Ridge Regression
Estimators [4.392844455327199]
非パラメトリック回帰における単純なプラグインカーネルリッジ回帰(KRR)推定器を提案する。
我々は,提案した推定器の挙動を統一的に研究するために,非漸近解析を行う。
提案した推定器は、導関数の任意の順序に対するチューニングパラメータを同じ選択で最適収束率を達成する。
論文 参考訳(メタデータ) (2020-06-02T02:32:39Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳(メタデータ) (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。