Fugu-MT 論文翻訳(概要): Flat Minima in Linear Estimation and an Extended Gauss Markov Theorem

論文の概要: Flat Minima in Linear Estimation and an Extended Gauss Markov Theorem

arxiv url: http://arxiv.org/abs/2311.11093v1
Date: Sat, 18 Nov 2023 14:45:06 GMT
ステータス: 処理完了
システム内更新日: 2023-11-22 12:14:07.043495
Title: Flat Minima in Linear Estimation and an Extended Gauss Markov Theorem
Title（参考訳）: 線形推定における平坦極小と拡張ガウスマルコフ定理
Authors: Simon Segert
Abstract要約: 我々は、核とスペクトルのノルムの場合の最適推定器の単純で明示的な公式を導出する。我々は、複数のランダム行列アンサンブルにおける一般化誤差を解析的に導出し、リッジ回帰との比較を行った。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider the problem of linear estimation, and establish an extension of the Gauss-Markov theorem, in which the bias operator is allowed to be non-zero but bounded with respect to a matrix norm of Schatten type. We derive simple and explicit formulas for the optimal estimator in the cases of Nuclear and Spectral norms (with the Frobenius case recovering ridge regression). Additionally, we analytically derive the generalization error in multiple random matrix ensembles, and compare with Ridge regression. Finally, we conduct an extensive simulation study, in which we show that the cross-validated Nuclear and Spectral regressors can outperform Ridge in several circumstances.
Abstract（参考訳）: 線形推定の問題を考察し、バイアス作用素がゼロでないことが許されるガウス・マルコフの定理の拡張を確立し、シャッテン型の行列ノルムに関して有界となる。我々は、核およびスペクトルノルムの場合(フロベニウスの場合はリッジ回帰を回復する)の最適推定子に対する単純で明示的な公式を導出する。さらに,複数のランダム行列アンサンブルにおける一般化誤差を解析的に導出し,リッジ回帰と比較する。最後に,クロスバリアント原子核およびスペクトルレグレッセプタがいくつかの条件下でリッジよりも優れることを示す,広範囲なシミュレーション研究を行った。

関連論文リスト

Low-rank Bayesian matrix completion via geodesic Hamiltonian Monte Carlo on Stiefel manifolds [0.18416014644193066]
低ランクベイズ行列の効率的な計算を可能にするための新しいサンプリングベース手法を提案する。提案手法は, 標準ギブスサンプリング器で発生するサンプリング困難を, 行列完備化に使用される一般的な2つの行列因子化のために解決することを示す。数値的な例は、より優れた混合と定常分布への高速収束を含む優れたサンプリング性能を示す。
論文参考訳（メタデータ） (2024-10-27T03:12:53Z)
Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
論文参考訳（メタデータ） (2023-11-08T15:17:13Z)
Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文参考訳（メタデータ） (2023-06-29T01:20:44Z)
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文参考訳（メタデータ） (2023-06-05T21:08:34Z)
High-dimensional analysis of double descent for linear regression with random projections [0.0]
ランダムな投影数が異なる線形回帰問題を考察し、固定された予測問題に対する二重降下曲線を確実に示す。まず、リッジ回帰推定器を考察し、非パラメトリック統計学の古典的概念を用いて先行結果を再解釈する。次に、最小ノルム最小二乗の一般化性能(バイアスと分散の観点から)の同値をランダムな射影に適合させ、二重降下現象の単純な表現を与える。
論文参考訳（メタデータ） (2023-03-02T15:58:09Z)
Robust Regularized Low-Rank Matrix Models for Regression and Classification [14.698622796774634]
本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
論文参考訳（メタデータ） (2022-05-14T18:03:48Z)
Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文参考訳（メタデータ） (2021-05-03T16:36:27Z)
Variational Inference in high-dimensional linear regression [5.065420156125522]
高次元ベイズ線形回帰を積優先で研究する。後部分布のログ正規化定数に対するナイーブ平均場近似の先導的正しさの十分な条件を提供します。
論文参考訳（メタデータ） (2021-04-25T19:09:38Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Asymptotic Errors for Teacher-Student Convex Generalized Linear Models (or : How to Prove Kabashima's Replica Formula) [23.15629681360836]
凸一般化線形モデルの再構成性能に関する解析式を検証した。解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。主流学習法に関する数値的な例で,本主張を述べる。
論文参考訳（メタデータ） (2020-06-11T16:26:35Z)
Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion [101.83262280224729]
我々は、原子核ノルム正規化行列補完に対する相対誤差を開発する。未知行列の最適低ランク近似を回復するための相対上界を導出する。
論文参考訳（メタデータ） (2015-04-26T13:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。