論文の概要: Flat Minima in Linear Estimation and an Extended Gauss Markov Theorem
- arxiv url: http://arxiv.org/abs/2311.11093v1
- Date: Sat, 18 Nov 2023 14:45:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 12:14:07.043495
- Title: Flat Minima in Linear Estimation and an Extended Gauss Markov Theorem
- Title(参考訳): 線形推定における平坦極小と拡張ガウスマルコフ定理
- Authors: Simon Segert
- Abstract要約: 我々は、核とスペクトルのノルムの場合の最適推定器の単純で明示的な公式を導出する。
我々は、複数のランダム行列アンサンブルにおける一般化誤差を解析的に導出し、リッジ回帰との比較を行った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of linear estimation, and establish an extension of
the Gauss-Markov theorem, in which the bias operator is allowed to be non-zero
but bounded with respect to a matrix norm of Schatten type. We derive simple
and explicit formulas for the optimal estimator in the cases of Nuclear and
Spectral norms (with the Frobenius case recovering ridge regression).
Additionally, we analytically derive the generalization error in multiple
random matrix ensembles, and compare with Ridge regression. Finally, we conduct
an extensive simulation study, in which we show that the cross-validated
Nuclear and Spectral regressors can outperform Ridge in several circumstances.
- Abstract(参考訳): 線形推定の問題を考察し、バイアス作用素がゼロでないことが許されるガウス・マルコフの定理の拡張を確立し、シャッテン型の行列ノルムに関して有界となる。
我々は、核およびスペクトルノルムの場合(フロベニウスの場合はリッジ回帰を回復する)の最適推定子に対する単純で明示的な公式を導出する。
さらに,複数のランダム行列アンサンブルにおける一般化誤差を解析的に導出し,リッジ回帰と比較する。
最後に,クロスバリアント原子核およびスペクトルレグレッセプタがいくつかの条件下でリッジよりも優れることを示す,広範囲なシミュレーション研究を行った。
関連論文リスト
- Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - The Inductive Bias of Flatness Regularization for Deep Matrix
Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。
測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文 参考訳(メタデータ) (2023-06-22T23:14:57Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - High-dimensional analysis of double descent for linear regression with
random projections [0.0]
ランダムな投影数が異なる線形回帰問題を考察し、固定された予測問題に対する二重降下曲線を確実に示す。
まず、リッジ回帰推定器を考察し、非パラメトリック統計学の古典的概念を用いて先行結果を再解釈する。
次に、最小ノルム最小二乗の一般化性能(バイアスと分散の観点から)の同値をランダムな射影に適合させ、二重降下現象の単純な表現を与える。
論文 参考訳(メタデータ) (2023-03-02T15:58:09Z) - Robust Regularized Low-Rank Matrix Models for Regression and
Classification [14.698622796774634]
本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。
アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
論文 参考訳(メタデータ) (2022-05-14T18:03:48Z) - Implicit Regularization in Matrix Sensing via Mirror Descent [29.206451882562867]
本研究では,行列検出における非正規化経験的リスクに対する離散時間ミラー降下法について検討した。
フルランク分解パラメトリゼーションによる勾配降下はミラー降下の1次近似であることを示す。
論文 参考訳(メタデータ) (2021-05-28T13:46:47Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳(メタデータ) (2021-05-03T16:36:27Z) - Variational Inference in high-dimensional linear regression [5.065420156125522]
高次元ベイズ線形回帰を積優先で研究する。
後部分布のログ正規化定数に対するナイーブ平均場近似の先導的正しさの十分な条件を提供します。
論文 参考訳(メタデータ) (2021-04-25T19:09:38Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。
我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
論文 参考訳(メタデータ) (2021-03-02T06:59:52Z) - Asymptotic Errors for Teacher-Student Convex Generalized Linear Models
(or : How to Prove Kabashima's Replica Formula) [23.15629681360836]
凸一般化線形モデルの再構成性能に関する解析式を検証した。
解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。
主流学習法に関する数値的な例で,本主張を述べる。
論文 参考訳(メタデータ) (2020-06-11T16:26:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。