論文の概要: Least Squares Regression Can Exhibit Under-Parameterized Double Descent
- arxiv url: http://arxiv.org/abs/2305.14689v3
- Date: Thu, 24 Oct 2024 20:32:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-28 13:34:56.995713
- Title: Least Squares Regression Can Exhibit Under-Parameterized Double Descent
- Title（参考訳）: 極小四角いレグレッションは、パラメータの下の二重の輝きを排除できる
- Authors: Xinyue Li, Rishi Sonthalia,
- Abstract要約: 本研究では,学習データ点数,パラメータ数,モデルの一般化能力の関係について検討する。
ピークの位置は、スペクトルとサンプル共分散の固有ベクトルの両方の技術的性質に依存すると仮定する。
- 参考スコア（独自算出の注目度）: 6.645111950779666
- License:
- Abstract: The relationship between the number of training data points, the number of parameters, and the generalization capabilities of models has been widely studied. Previous work has shown that double descent can occur in the over-parameterized regime and that the standard bias-variance trade-off holds in the under-parameterized regime. These works provide multiple reasons for the existence of the peak. We postulate that the location of the peak depends on the technical properties of both the spectrum as well as the eigenvectors of the sample covariance. We present two simple examples that provably exhibit double descent in the under-parameterized regime and do not seem to occur for reasons provided in prior work.
- Abstract（参考訳）: 学習データ点数,パラメータ数,モデルの一般化能力の関係について検討した。
これまでの研究では、過度パラメータ化された状態において二重降下が起こり、標準バイアス分散トレードオフが過度パラメータ化された状態において保持されることが示されている。
これらの作品には、ピークの存在の理由がいくつかある。
ピークの位置は、スペクトルとサンプル共分散の固有ベクトルの両方の技術的性質に依存すると仮定する。
本報告では,2つの簡単な例について述べる。
関連論文リスト
- A Sparsity Principle for Partially Observable Causal Representation Learning [28.25303444099773]
因果表現学習は、知覚データから高レベルの因果変数を特定することを目的としている。
我々は、インスタンスに依存した部分的可観測パターンを持つデータセットから、未確認の観測から学ぶことに集中する。
提案手法は,推定された表現の間隔を小さくすることで,基礎となる因果変数を推定する2つの手法である。
論文 参考訳（メタデータ） (2024-03-13T08:40:49Z) - Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse
Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。
本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。
学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文 参考訳（メタデータ） (2024-01-10T02:38:21Z) - A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳（メタデータ） (2023-10-29T12:05:39Z) - A Unified Analysis of Multi-task Functional Linear Regression Models
with Manifold Constraint and Composite Quadratic Penalty [0.0]
マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。
合成ペナルティは、多様体曲率の定量化に役立つ特定のノルムを誘導することを示す。
縮小ランクモデルとグラフラプラシア正規化モデルに統一収束上限を求め、特に適用する。
論文 参考訳（メタデータ） (2022-11-09T13:32:23Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳（メタデータ） (2021-12-29T23:37:06Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳（メタデータ） (2021-09-06T14:52:58Z) - Doubly Robust Semiparametric Difference-in-Differences Estimators with
High-Dimensional Data [15.27393561231633]
不均一な治療効果を推定するための2段半パラメトリック差分差分推定器を提案する。
第1段階では、確率スコアを推定するために、一般的な機械学習手法が使用できる。
第2段階ではパラメトリックパラメータと未知関数の両方の収束率を導出する。
論文 参考訳（メタデータ） (2020-09-07T15:14:29Z) - Multiple Descent: Design Your Own Generalization Curve [46.47831396167738]
一般化曲線は任意の数のピークを持つことができ、さらにそれらのピークの位置を明示的に制御できることを示す。
この結果は、古典的なU字型一般化曲線と最近観測された2重降下曲線の両方がモデル族固有の性質ではないという事実を強調した。
論文 参考訳（メタデータ） (2020-08-03T17:22:21Z) - An Investigation of Why Overparameterization Exacerbates Spurious
Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。
モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文 参考訳（メタデータ） (2020-05-09T01:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。