#### 論文の概要: Fitting very flexible models: Linear regression with large numbers of parameters

• arxiv url: http://arxiv.org/abs/2101.07256v1
• Date: Fri, 15 Jan 2021 21:08:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 11:10:00.858317
• Title: Fitting very flexible models: Linear regression with large numbers of parameters
• Title（参考訳）: 非常に柔軟なモデル:多数のパラメータを持つ線形回帰
• Authors: David W. Hogg (NYU) and Soledad Villar (JHU)
• Abstract要約: リニアフィッティングはデータの一般化とデノライゼーションに使用される。 この基底関数のフィッティングについて, 通常の最小二乗とその拡張を用いて論じる。 無限パラメータの限界を取ることさえ可能であり、基礎と正規化が正しく選択された場合、最小の正方形の適合はプロセスの平均になります。
• 参考スコア（独自算出の注目度）: 0.0
• Abstract: There are many uses for linear fitting; the context here is interpolation and denoising of data, as when you have calibration data and you want to fit a smooth, flexible function to those data. Or you want to fit a flexible function to de-trend a time series or normalize a spectrum. In these contexts, investigators often choose a polynomial basis, or a Fourier basis, or wavelets, or something equally general. They also choose an order, or number of basis functions to fit, and (often) some kind of regularization. We discuss how this basis-function fitting is done, with ordinary least squares and extensions thereof. We emphasize that it is often valuable to choose far more parameters than data points, despite folk rules to the contrary: Suitably regularized models with enormous numbers of parameters generalize well and make good predictions for held-out data; over-fitting is not (mainly) a problem of having too many parameters. It is even possible to take the limit of infinite parameters, at which, if the basis and regularization are chosen correctly, the least-squares fit becomes the mean of a Gaussian process. We recommend cross-validation as a good empirical method for model selection (for example, setting the number of parameters and the form of the regularization), and jackknife resampling as a good empirical method for estimating the uncertainties of the predictions made by the model. We also give advice for building stable computational implementations.
• Abstract（参考訳）: ここでのコンテキストはデータの補間と分極であり、キャリブレーションデータを持ち、それらのデータにスムーズで柔軟な関数を適合させたい場合のようにである。 あるいは、時系列を非トレーディングしたり、スペクトルを正規化するために柔軟な関数をフィットさせたい。 これらの文脈では、研究者はしばしば多項式基底、フーリエ基底、ウェーブレット、あるいは等しく一般的なものを選択する。 それらはまた、適合する順序や基底関数の数、そして(しばしば)ある種の正規化を選択する。 この基底関数のフィッティングについて, 通常の最小二乗とその拡張を用いて論じる。 膨大な数のパラメータを持つ適切な正規化モデルが適切に一般化し、保留データに対して良い予測をする;過剰適合は(主に)多くのパラメータを持つ問題ではない。 無限パラメータの極限を取ることも可能であり、基底と正則化が正しく選択されると、最小二乗はガウス過程の平均となる。 モデル選択のための優れた経験的手法(例えば、パラメータの数と正規化の形式を設定する)としてのクロスバリデーションと、モデルによる予測の不確かさを推定するための優れた経験的手法としてjackknifeの再サンプリングを推奨する。 また,安定な計算実装の構築についてもアドバイスする。

#### 関連論文リスト

• Scaling and renormalization in high-dimensional regression [70.9098740785845]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Overparameterized Multiple Linear Regression as Hyper-Curve Fitting [0.0]
線形モデルは, モデル仮定に反する非線形依存が存在する場合でも, 正確な予測を生成することが証明された。 ハイパーカーブのアプローチは、予測変数のノイズに関する問題を正規化するのに特に適しており、モデルからノイズや「不適切な」予測子を取り除くのに使うことができる。
論文  参考訳（メタデータ） (2024-04-11T15:43:11Z)
• Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。 関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
論文  参考訳（メタデータ） (2023-11-27T16:39:55Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Conjugate priors for count and rounded data regression [0.0]
閉形式後部推論を可能にする共役前部を導入する。 主要な後続関数と予測関数は計算可能であり、直接モンテカルロシミュレーションによって計算可能である。 これらのツールは、線形回帰、基底展開による非線形モデル、モデルと変数選択に広く有用である。
論文  参考訳（メタデータ） (2021-10-23T23:26:01Z)
• Spectral goodness-of-fit tests for complete and partial network data [1.7188280334580197]
我々は、最近のランダム行列理論の結果を用いて、ダイアディックデータに対する一般的な適合性テスト(英語版)を導出する。 提案手法は,特定の関心モデルに適用された場合,パラメータ選択の単純かつ高速な方法であることを示す。 提案手法は, コミュニティ検出アルゴリズムの改良に繋がる。
論文  参考訳（メタデータ） (2021-06-17T17:56:30Z)
• A Universal Law of Robustness via Isoperimetry [1.484852576248587]
スムースには単なるパラメータ以上の\$d\$が必要で、\$d\$は周囲のデータ次元である。 この普遍的なロバスト性則を、大きさの重みを持つ任意の滑らかなパラメトリケート関数クラスに対して証明する。
論文  参考訳（メタデータ） (2021-05-26T19:49:47Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Flexible Bayesian Nonlinear Model Configuration [10.865434331546126]
線形あるいは単純なパラメトリックモデルはしばしば入力変数と応答の間の複雑な関係を記述するのに十分ではない。 高いフレキシブルな非線形パラメトリック回帰モデルの構築と選択に柔軟なアプローチを導入する。 遺伝的に修飾されたモードジャンプチェーンモンテカルロアルゴリズムを用いてベイズ推論を行う。
論文  参考訳（メタデータ） (2020-03-05T21:20:55Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)