Fugu-MT 論文翻訳(概要): Multiple Descent: Design Your Own Generalization Curve

論文の概要: Multiple Descent: Design Your Own Generalization Curve

arxiv url: http://arxiv.org/abs/2008.01036v7
Date: Mon, 8 Nov 2021 18:58:11 GMT
ステータス: 処理完了
システム内更新日: 2022-11-03 06:04:12.159099
Title: Multiple Descent: Design Your Own Generalization Curve
Title（参考訳）: 複数のDescent: 自分の一般化曲線を設計する
Authors: Lin Chen, Yifei Min, Mikhail Belkin, Amin Karbasi
Abstract要約: 一般化曲線は任意の数のピークを持つことができ、さらにそれらのピークの位置を明示的に制御できることを示す。この結果は、古典的なU字型一般化曲線と最近観測された2重降下曲線の両方がモデル族固有の性質ではないという事実を強調した。
参考スコア（独自算出の注目度）: 46.47831396167738
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper explores the generalization loss of linear regression in variably parameterized families of models, both under-parameterized and over-parameterized. We show that the generalization curve can have an arbitrary number of peaks, and moreover, locations of those peaks can be explicitly controlled. Our results highlight the fact that both classical U-shaped generalization curve and the recently observed double descent curve are not intrinsic properties of the model family. Instead, their emergence is due to the interaction between the properties of the data and the inductive biases of learning algorithms.
Abstract（参考訳）: 本稿では, パラメータ化モデルにおける線形回帰の一般化損失について検討する。一般化曲線は任意の数のピークを持つことができ、さらにそれらのピークの位置を明示的に制御できることを示す。その結果、古典的u型一般化曲線と最近観測された二重降下曲線の両方がモデルファミリの固有性質ではないことを浮き彫りにした。その代わり、それらの出現はデータの性質と学習アルゴリズムの帰納バイアスの間の相互作用によるものである。

関連論文リスト

Generalization for Least Squares Regression With Simple Spiked Covariances [3.9134031118910264]
勾配降下によって訓練された2層ニューラルネットワークの一般化特性はいまだよく分かっていない。最近の研究は、隠れた層における特徴行列のスペクトルを記述することで進展した。しかし、スパイク共分散を持つ線形モデルの一般化誤差は以前には決定されていない。
論文参考訳（メタデータ） (2024-10-17T19:46:51Z)
Precise analysis of ridge interpolators under heavy correlations -- a Random Duality Theory view [0.0]
EmphRandom Duality Theory (RDT) を用いて, 関心量の最適化に係わるすべての推定器の正確なクローズドな形状のキャラクタリゼーションが得られることを示す。
論文参考訳（メタデータ） (2024-06-13T14:56:52Z)
Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。これは二重降下と統計的直観の間の緊張を解消する。
論文参考訳（メタデータ） (2023-10-29T12:05:39Z)
Dropout Regularization in Extended Generalized Linear Models based on Double Exponential Families [0.0]
二重指数族に基づく拡張一般化線形モデルにおけるドロップアウト正則化について検討する。理論解析により、ドロップアウト正則化は平均値と分散値の両方において稀だが重要な特徴を好むことが示された。
論文参考訳（メタデータ） (2023-05-11T07:54:11Z)
Gradient flow in the gaussian covariate model: exact solution of learning curves and multiple descent structures [14.578025146641806]
一般化曲線の全時間進化を完全かつ統一的に解析する。この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
論文参考訳（メタデータ） (2022-12-13T17:39:18Z)
Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文参考訳（メタデータ） (2022-11-02T16:39:42Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
The Predictive Normalized Maximum Likelihood for Over-parameterized Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
論文参考訳（メタデータ） (2021-02-14T15:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。