論文の概要: Fitting very flexible models: Linear regression with large numbers of parameters

• arxiv url: http://arxiv.org/abs/2101.07256v1
• Date: Fri, 15 Jan 2021 21:08:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 11:10:00.858317
• Title: Fitting very flexible models: Linear regression with large numbers of parameters
• Title（参考訳）: 非常に柔軟なモデル:多数のパラメータを持つ線形回帰
• Authors: David W. Hogg (NYU) and Soledad Villar (JHU)
• Abstract要約: リニアフィッティングはデータの一般化とデノライゼーションに使用される。 この基底関数のフィッティングについて, 通常の最小二乗とその拡張を用いて論じる。 無限パラメータの限界を取ることさえ可能であり、基礎と正規化が正しく選択された場合、最小の正方形の適合はプロセスの平均になります。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are many uses for linear fitting; the context here is interpolation and denoising of data, as when you have calibration data and you want to fit a smooth, flexible function to those data. Or you want to fit a flexible function to de-trend a time series or normalize a spectrum. In these contexts, investigators often choose a polynomial basis, or a Fourier basis, or wavelets, or something equally general. They also choose an order, or number of basis functions to fit, and (often) some kind of regularization. We discuss how this basis-function fitting is done, with ordinary least squares and extensions thereof. We emphasize that it is often valuable to choose far more parameters than data points, despite folk rules to the contrary: Suitably regularized models with enormous numbers of parameters generalize well and make good predictions for held-out data; over-fitting is not (mainly) a problem of having too many parameters. It is even possible to take the limit of infinite parameters, at which, if the basis and regularization are chosen correctly, the least-squares fit becomes the mean of a Gaussian process. We recommend cross-validation as a good empirical method for model selection (for example, setting the number of parameters and the form of the regularization), and jackknife resampling as a good empirical method for estimating the uncertainties of the predictions made by the model. We also give advice for building stable computational implementations.
• Abstract（参考訳）: ここでのコンテキストはデータの補間と分極であり、キャリブレーションデータを持ち、それらのデータにスムーズで柔軟な関数を適合させたい場合のようにである。 あるいは、時系列を非トレーディングしたり、スペクトルを正規化するために柔軟な関数をフィットさせたい。 これらの文脈では、研究者はしばしば多項式基底、フーリエ基底、ウェーブレット、あるいは等しく一般的なものを選択する。 それらはまた、適合する順序や基底関数の数、そして(しばしば)ある種の正規化を選択する。 この基底関数のフィッティングについて, 通常の最小二乗とその拡張を用いて論じる。 膨大な数のパラメータを持つ適切な正規化モデルが適切に一般化し、保留データに対して良い予測をする;過剰適合は(主に)多くのパラメータを持つ問題ではない。 無限パラメータの極限を取ることも可能であり、基底と正則化が正しく選択されると、最小二乗はガウス過程の平均となる。 モデル選択のための優れた経験的手法(例えば、パラメータの数と正規化の形式を設定する)としてのクロスバリデーションと、モデルによる予測の不確かさを推定するための優れた経験的手法としてjackknifeの再サンプリングを推奨する。 また,安定な計算実装の構築についてもアドバイスする。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Optimal sampling for least-squares approximation [0.8702432681310399]
  ランダムサンプルから(重み付けされた)最小二乗近似の解析において、クリスティーフェル関数を重要な量として導入する。 ほぼ最適なサンプル複雑性を持つサンプリング戦略を構築するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2024-09-04T00:06:23Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
  モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。 関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
  論文  参考訳（メタデータ） (2023-11-27T16:39:55Z)
• Conjugate priors for count and rounded data regression [0.0]
  閉形式後部推論を可能にする共役前部を導入する。 主要な後続関数と予測関数は計算可能であり、直接モンテカルロシミュレーションによって計算可能である。 これらのツールは、線形回帰、基底展開による非線形モデル、モデルと変数選択に広く有用である。
  論文  参考訳（メタデータ） (2021-10-23T23:26:01Z)
• Spectral goodness-of-fit tests for complete and partial network data [1.7188280334580197]
  我々は、最近のランダム行列理論の結果を用いて、ダイアディックデータに対する一般的な適合性テスト(英語版)を導出する。 提案手法は,特定の関心モデルに適用された場合,パラメータ選択の単純かつ高速な方法であることを示す。 提案手法は, コミュニティ検出アルゴリズムの改良に繋がる。
  論文  参考訳（メタデータ） (2021-06-17T17:56:30Z)
• A Universal Law of Robustness via Isoperimetry [1.484852576248587]
  スムースには単なるパラメータ以上の$d$が必要で、$d$は周囲のデータ次元である。 この普遍的なロバスト性則を、大きさの重みを持つ任意の滑らかなパラメトリケート関数クラスに対して証明する。
  論文  参考訳（メタデータ） (2021-05-26T19:49:47Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Flexible Bayesian Nonlinear Model Configuration [10.865434331546126]
  線形あるいは単純なパラメトリックモデルはしばしば入力変数と応答の間の複雑な関係を記述するのに十分ではない。 高いフレキシブルな非線形パラメトリック回帰モデルの構築と選択に柔軟なアプローチを導入する。 遺伝的に修飾されたモードジャンプチェーンモンテカルロアルゴリズムを用いてベイズ推論を行う。
  論文  参考訳（メタデータ） (2020-03-05T21:20:55Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。