論文の概要: The Predictive Normalized Maximum Likelihood for Over-parameterized Linear Regression with Norm Constraint: Regret and Double Descent

• arxiv url: http://arxiv.org/abs/2102.07181v1
• Date: Sun, 14 Feb 2021 15:49:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 12:52:30.120918
• Title: The Predictive Normalized Maximum Likelihood for Over-parameterized Linear Regression with Norm Constraint: Regret and Double Descent
• Title（参考訳）: ノルム制約付き過パラメータ線形回帰の予測正規化最大確率:後悔と二重降下
• Authors: Koby Bibas and Meir Feder
• Abstract要約: 現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。 最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。 我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
• 参考スコア（独自算出の注目度）: 12.929639356256928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A fundamental tenet of learning theory is that a trade-off exists between the complexity of a prediction rule and its ability to generalize. The double-decent phenomenon shows that modern machine learning models do not obey this paradigm: beyond the interpolation limit, the test error declines as model complexity increases. We investigate over-parameterization in linear regression using the recently proposed predictive normalized maximum likelihood (pNML) learner which is the min-max regret solution for individual data. We derive an upper bound of its regret and show that if the test sample lies mostly in a subspace spanned by the eigenvectors associated with the large eigenvalues of the empirical correlation matrix of the training data, the model generalizes despite its over-parameterized nature. We demonstrate the use of the pNML regret as a point-wise learnability measure on synthetic data and that it can successfully predict the double-decent phenomenon using the UCI dataset.
• Abstract（参考訳）: 学習理論の基本的な原則は、予測規則の複雑さと一般化能力との間にトレードオフが存在することである。 二重日現象は、現代の機械学習モデルがこのパラダイムに従わないことを示している:補間限界を超えて、モデルの複雑さが増加するにつれてテストエラーは減少する。 最近提案された予測正規化最大可能性(pNML)学習者を用いて線形回帰におけるオーバーパラメータ化を研究する。 実験サンプルがトレーニングデータの経験的相関行列の大きな固有値に関連付けられた固有ベクトルによって分散された部分空間内にある場合、その過度パラメータ化の性質にもかかわらず、モデルは一般化されることを示す。 合成データに対するポイントワイズ学習可能性尺度としてのpNMLリサイタルの使用を実証し,UCIデータセットを用いて2次元現象の予測に成功した。

関連論文リスト

• Revisiting Optimism and Model Complexity in the Wake of Overparameterized Machine Learning [6.278498348219108]
  まず、(有効)自由度という古典的な統計的概念を再解釈し、拡張することで、第一原理からモデルの複雑さを再考する。 我々は,概念的議論,理論,実験の混合を通じて,提案した複雑性尺度の有用性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T06:09:57Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Analysis of Interpolating Regression Models and the Double Descent Phenomenon [3.883460584034765]
  ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。 得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。 回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
  論文  参考訳（メタデータ） (2023-04-17T09:44:33Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of Overparameterized Machine Learning [37.01683478234978]
  機械学習(ML)の急速な進歩は、この分野の長年のドグマに挑戦する科学的な疑問を数多く提起している。 最も重要なライドルの1つは、パラメータ化されたモデルの優れた経験的一般化である。
  論文  参考訳（メタデータ） (2021-09-06T10:48:40Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)
• Optimal Regularization Can Mitigate Double Descent [29.414119906479954]
  最適正則化を用いて二重発振現象を回避できるかどうかを検討した。 我々は、最適に調整された$ell$正規化が、ニューラルネットワークを含むより一般的なモデルの2重降下を可能にすることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-03-04T05:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。