論文の概要: A rigorous introduction to linear models

• arxiv url: http://arxiv.org/abs/2105.04240v6
• Date: Fri, 09 May 2025 11:43:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:42:02.127567
• Title: A rigorous introduction to linear models
• Title（参考訳）: 線形モデルへの厳密な導入
• Authors: Jun Lu,
• Abstract要約: この本は線形モデルとその背後にある理論について紹介することを目的としている。 機械学習では、出力は通常入力の非線形関数である。
• 参考スコア（独自算出の注目度）: 8.034728173797953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This book is meant to provide an introduction to linear models and the theories behind them. Our goal is to give a rigorous introduction to the readers with prior exposure to ordinary least squares. In machine learning, the output is usually a nonlinear function of the input. Deep learning even aims to find a nonlinear dependence with many layers, which require a large amount of computation. However, most of these algorithms build upon simple linear models. We then describe linear models from different perspectives and find the properties and theories behind the models. The linear model is the main technique in regression problems, and the primary tool for it is the least squares approximation, which minimizes a sum of squared errors. This is a natural choice when we're interested in finding the regression function which minimizes the corresponding expected squared error. This book is primarily a summary of purpose, significance of important theories behind linear models, e.g., distribution theory and the minimum variance estimator. We first describe ordinary least squares from three different points of view, upon which we disturb the model with random noise and Gaussian noise. Through Gaussian noise, the model gives rise to the likelihood so that we introduce a maximum likelihood estimator. It also develops some distribution theories via this Gaussian disturbance. The distribution theory of least squares will help us answer various questions and introduce related applications. We then prove least squares is the best unbiased linear model in the sense of mean squared error, and most importantly, it actually approaches the theoretical limit. We end up with linear models with the Bayesian approach and beyond.
• Abstract（参考訳）: この本は線形モデルとその背後にある理論について紹介することを目的としている。 私たちのゴールは、通常の最小二乗に先立って、読者に厳格な紹介を行うことです。 機械学習では、出力は通常入力の非線形関数である。 ディープラーニングは、大量の計算を必要とする多くの層で非線形依存を見つけることさえ目的としている。 しかし、これらのアルゴリズムのほとんどは単純な線形モデルの上に構築されている。 次に、異なる視点から線形モデルを記述し、モデルの背後にある特性と理論を見出す。 線形モデルは回帰問題の主要な手法であり、その主なツールは最小二乗近似であり、二乗誤差の和を最小化する。 これは、対応する2乗誤差を最小限に抑える回帰関数を見つけることに興味がある場合に、自然な選択である。 この本は、主に目的の要約であり、線形モデルの背後にある重要な理論、例えば分布論、最小分散推定器の意義である。 まず3つの異なる視点から通常の最小二乗を記述し、そこでランダムノイズとガウス雑音でモデルを乱す。 ガウス雑音を通じて、モデルが最大極大推定器を導入する可能性をもたらす。 また、このガウスの乱れを通じて、いくつかの分布理論を発展させている。 最小二乗分布論は、様々な疑問に答え、関連する応用を導入するのに役立つ。 すると、最小二乗が平均二乗誤差という意味では最良の非バイアス線型モデルであることを証明し、そして最も重要なことは、実際に理論上の極限に近づくことである。 ベイズ的アプローチとそれ以上の線形モデルに終止符を打つ。

関連論文リスト

• Scalable Approximate Algorithms for Optimal Transport Linear Models [0.769672852567215]
  エントロピー規則化OTデータフィット項を用いた非線形回帰モデルの一般クラスを解くための新しい枠組みを提案する。 一般的なペナルティとデータ適合の条件に対する単純な乗法的更新を導出する。 本手法は,実装の単純さと並列化の容易さから,大規模問題に適した手法である。
  論文  参考訳（メタデータ） (2025-04-06T20:37:25Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Analysis of Interpolating Regression Models and the Double Descent Phenomenon [3.883460584034765]
  ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。 得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。 回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
  論文  参考訳（メタデータ） (2023-04-17T09:44:33Z)
• Gradient flow in the gaussian covariate model: exact solution of learning curves and multiple descent structures [14.578025146641806]
  一般化曲線の全時間進化を完全かつ統一的に解析する。 この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:39:18Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Asymptotics of Ridge Regression in Convolutional Models [26.910291664252973]
  特定の高次元状態にある尾根推定器の推定誤差の正確な式を導出する。 畳み込みモデルに対する実験では, 二重降下現象を示し, 理論結果が実験と一致することを示した。
  論文  参考訳（メタデータ） (2021-03-08T05:56:43Z)
• Estimating Stochastic Linear Combination of Non-linear Regressions Efficiently and Scalably [23.372021234032363]
  サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。 私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
  論文  参考訳（メタデータ） (2020-10-19T07:15:38Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。