論文の概要: A rigorous introduction to linear models
- arxiv url: http://arxiv.org/abs/2105.04240v5
- Date: Sun, 4 Feb 2024 10:20:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 07:38:46.995927
- Title: A rigorous introduction to linear models
- Title（参考訳）: 線形モデルへの厳密な導入
- Authors: Jun Lu
- Abstract要約: この本は線形モデルとその背後にある理論について紹介することを目的としている。
機械学習では、出力は通常入力の非線形関数である。
- 参考スコア（独自算出の注目度）: 8.034728173797953
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This book is meant to provide an introduction to linear models and the
theories behind them. Our goal is to give a rigorous introduction to the
readers with prior exposure to ordinary least squares. In machine learning, the
output is usually a nonlinear function of the input. Deep learning even aims to
find a nonlinear dependence with many layers, which require a large amount of
computation. However, most of these algorithms build upon simple linear models.
We then describe linear models from different perspectives and find the
properties and theories behind the models. The linear model is the main
technique in regression problems, and the primary tool for it is the least
squares approximation, which minimizes a sum of squared errors. This is a
natural choice when we're interested in finding the regression function which
minimizes the corresponding expected squared error. This book is primarily a
summary of purpose, significance of important theories behind linear models,
e.g., distribution theory and the minimum variance estimator. We first describe
ordinary least squares from three different points of view, upon which we
disturb the model with random noise and Gaussian noise. Through Gaussian noise,
the model gives rise to the likelihood so that we introduce a maximum
likelihood estimator. It also develops some distribution theories via this
Gaussian disturbance. The distribution theory of least squares will help us
answer various questions and introduce related applications. We then prove
least squares is the best unbiased linear model in the sense of mean squared
error, and most importantly, it actually approaches the theoretical limit. We
end up with linear models with the Bayesian approach and beyond.
- Abstract（参考訳）: この本は線形モデルとその背後にある理論について紹介することを目的としている。
私たちのゴールは、通常の最小二乗に先立って読者に厳格な紹介を行うことです。
機械学習では、出力は通常、入力の非線形関数である。
深層学習は、大量の計算を必要とする多くの層で非線形依存を見つけることさえ狙っている。
しかし、これらのアルゴリズムのほとんどは単純な線形モデルに基づいている。
次に、異なる視点から線形モデルを記述し、モデルの背後にある特性と理論を見出す。
線形モデルは回帰問題の主要な手法であり、その主なツールは最小二乗近似であり、二乗誤差の和を最小化する。
これは、対応する2乗誤差を最小限に抑える回帰関数を見つけることに関心がある場合、自然な選択です。
この本は主に目的の要約であり、例えば分布論や最小分散推定器といった線形モデルの背後にある重要な理論の意義である。
まず3つの異なる視点から通常の最小二乗を記述し、そこでランダムノイズとガウス雑音でモデルを乱す。
ガウス雑音を通じて、モデルが最大確率推定子を導入するように確率を与える。
また、このガウス乱を通じていくつかの分布理論を発展させている。
最小二乗の分布理論は、様々な質問に答え、関連する応用を導入するのに役立つ。
次に、最小二乗法が平均二乗誤差の意味で最良の非バイアス線型モデルであることを証明し、最も重要なことは、実際に理論上の極限に近づくことである。
ベイズ的アプローチとそれ以上の線形モデルに終止符を打つ。
関連論文リスト
- Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Analysis of Interpolating Regression Models and the Double Descent
Phenomenon [3.883460584034765]
ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。
得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。
回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
論文 参考訳（メタデータ） (2023-04-17T09:44:33Z) - Gradient flow in the gaussian covariate model: exact solution of
learning curves and multiple descent structures [14.578025146641806]
一般化曲線の全時間進化を完全かつ統一的に解析する。
この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
論文 参考訳（メタデータ） (2022-12-13T17:39:18Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。
それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。
本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文 参考訳（メタデータ） (2021-12-11T13:18:33Z) - Asymptotics of Ridge Regression in Convolutional Models [26.910291664252973]
特定の高次元状態にある尾根推定器の推定誤差の正確な式を導出する。
畳み込みモデルに対する実験では, 二重降下現象を示し, 理論結果が実験と一致することを示した。
論文 参考訳（メタデータ） (2021-03-08T05:56:43Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳（メタデータ） (2020-10-19T07:15:38Z) - Non-parametric Models for Non-negative Functions [48.7576911714538]
同じ良い線形モデルから非負関数に対する最初のモデルを提供する。
我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
論文 参考訳（メタデータ） (2020-07-08T07:17:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。