論文の概要: Fitting very flexible models: Linear regression with large numbers of
parameters
- arxiv url: http://arxiv.org/abs/2101.07256v1
- Date: Fri, 15 Jan 2021 21:08:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-28 11:10:00.858317
- Title: Fitting very flexible models: Linear regression with large numbers of
parameters
- Title(参考訳): 非常に柔軟なモデル:多数のパラメータを持つ線形回帰
- Authors: David W. Hogg (NYU) and Soledad Villar (JHU)
- Abstract要約: リニアフィッティングはデータの一般化とデノライゼーションに使用される。
この基底関数のフィッティングについて, 通常の最小二乗とその拡張を用いて論じる。
無限パラメータの限界を取ることさえ可能であり、基礎と正規化が正しく選択された場合、最小の正方形の適合はプロセスの平均になります。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There are many uses for linear fitting; the context here is interpolation and
denoising of data, as when you have calibration data and you want to fit a
smooth, flexible function to those data. Or you want to fit a flexible function
to de-trend a time series or normalize a spectrum. In these contexts,
investigators often choose a polynomial basis, or a Fourier basis, or wavelets,
or something equally general. They also choose an order, or number of basis
functions to fit, and (often) some kind of regularization. We discuss how this
basis-function fitting is done, with ordinary least squares and extensions
thereof. We emphasize that it is often valuable to choose far more parameters
than data points, despite folk rules to the contrary: Suitably regularized
models with enormous numbers of parameters generalize well and make good
predictions for held-out data; over-fitting is not (mainly) a problem of having
too many parameters. It is even possible to take the limit of infinite
parameters, at which, if the basis and regularization are chosen correctly, the
least-squares fit becomes the mean of a Gaussian process. We recommend
cross-validation as a good empirical method for model selection (for example,
setting the number of parameters and the form of the regularization), and
jackknife resampling as a good empirical method for estimating the
uncertainties of the predictions made by the model. We also give advice for
building stable computational implementations.
- Abstract(参考訳): ここでのコンテキストはデータの補間と分極であり、キャリブレーションデータを持ち、それらのデータにスムーズで柔軟な関数を適合させたい場合のようにである。
あるいは、時系列を非トレーディングしたり、スペクトルを正規化するために柔軟な関数をフィットさせたい。
これらの文脈では、研究者はしばしば多項式基底、フーリエ基底、ウェーブレット、あるいは等しく一般的なものを選択する。
それらはまた、適合する順序や基底関数の数、そして(しばしば)ある種の正規化を選択する。
この基底関数のフィッティングについて, 通常の最小二乗とその拡張を用いて論じる。
膨大な数のパラメータを持つ適切な正規化モデルが適切に一般化し、保留データに対して良い予測をする;過剰適合は(主に)多くのパラメータを持つ問題ではない。
無限パラメータの極限を取ることも可能であり、基底と正則化が正しく選択されると、最小二乗はガウス過程の平均となる。
モデル選択のための優れた経験的手法(例えば、パラメータの数と正規化の形式を設定する)としてのクロスバリデーションと、モデルによる予測の不確かさを推定するための優れた経験的手法としてjackknifeの再サンプリングを推奨する。
また,安定な計算実装の構築についてもアドバイスする。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳(メタデータ) (2024-07-11T13:28:34Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳(メタデータ) (2024-05-01T15:59:00Z) - Overparameterized Multiple Linear Regression as Hyper-Curve Fitting [0.0]
線形モデルは, モデル仮定に反する非線形依存が存在する場合でも, 正確な予測を生成することが証明された。
ハイパーカーブのアプローチは、予測変数のノイズに関する問題を正規化するのに特に適しており、モデルからノイズや「不適切な」予測子を取り除くのに使うことができる。
論文 参考訳(メタデータ) (2024-04-11T15:43:11Z) - Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。
関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
論文 参考訳(メタデータ) (2023-11-27T16:39:55Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳(メタデータ) (2022-11-28T17:41:48Z) - Conjugate priors for count and rounded data regression [0.0]
閉形式後部推論を可能にする共役前部を導入する。
主要な後続関数と予測関数は計算可能であり、直接モンテカルロシミュレーションによって計算可能である。
これらのツールは、線形回帰、基底展開による非線形モデル、モデルと変数選択に広く有用である。
論文 参考訳(メタデータ) (2021-10-23T23:26:01Z) - Spectral goodness-of-fit tests for complete and partial network data [1.7188280334580197]
我々は、最近のランダム行列理論の結果を用いて、ダイアディックデータに対する一般的な適合性テスト(英語版)を導出する。
提案手法は,特定の関心モデルに適用された場合,パラメータ選択の単純かつ高速な方法であることを示す。
提案手法は, コミュニティ検出アルゴリズムの改良に繋がる。
論文 参考訳(メタデータ) (2021-06-17T17:56:30Z) - A Universal Law of Robustness via Isoperimetry [1.484852576248587]
スムースには単なるパラメータ以上の$d$が必要で、$d$は周囲のデータ次元である。
この普遍的なロバスト性則を、大きさの重みを持つ任意の滑らかなパラメトリケート関数クラスに対して証明する。
論文 参考訳(メタデータ) (2021-05-26T19:49:47Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Flexible Bayesian Nonlinear Model Configuration [10.865434331546126]
線形あるいは単純なパラメトリックモデルはしばしば入力変数と応答の間の複雑な関係を記述するのに十分ではない。
高いフレキシブルな非線形パラメトリック回帰モデルの構築と選択に柔軟なアプローチを導入する。
遺伝的に修飾されたモードジャンプチェーンモンテカルロアルゴリズムを用いてベイズ推論を行う。
論文 参考訳(メタデータ) (2020-03-05T21:20:55Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳(メタデータ) (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。