論文の概要: Estimation of sparse linear regression coefficients under $L$-subexponential covariates

• arxiv url: http://arxiv.org/abs/2304.11958v2
• Date: Tue, 6 Feb 2024 08:25:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 21:03:43.989548
• Title: Estimation of sparse linear regression coefficients under $L$-subexponential covariates
• Title（参考訳）: l$-subexponential covariates におけるスパース線形回帰係数の推定
• Authors: Takeyuki Sasai
• Abstract要約: 共変量ベクトルが$L$-subexponentialランダムベクトルからサンプリングされるとき、線形回帰のスパース係数を推定する。 このベクトルはガウス確率ベクトルよりも重い尾を持つ分布のクラスに属する。 ガウス確率ベクトルに対して得られた誤差は、より強い条件を課すことなく、定数因子までも満たすことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We tackle estimating sparse coefficients in a linear regression when the covariates are sampled from an $L$-subexponential random vector. This vector belongs to a class of distributions that exhibit heavier tails than Gaussian random vector. Previous studies have established error bounds similar to those derived for Gaussian random vectors. However, these methods require stronger conditions than those used for Gaussian random vectors to derive the error bounds. In this study, we present an error bound identical to the one obtained for Gaussian random vectors up to constant factors without imposing stronger conditions, when the covariates are drawn from an $L$-subexponential random vector. Interestingly, we employ an $\ell_1$-penalized Huber regression, which is known for its robustness against heavy-tailed random noises rather than covariates. We believe that this study uncovers a new aspect of the $\ell_1$-penalized Huber regression method.
• Abstract（参考訳）: 共変数が$l$-subexponential random vectorからサンプリングされたとき、線形回帰におけるスパース係数の推定に取り組む。 このベクトルは、ガウス確率ベクトルよりも重いテールを示す分布のクラスに属する。 以前の研究では、ガウス確率ベクトルに類似した誤差境界が確立されている。 しかし、これらの方法は誤差境界を導出するためにガウス確率ベクトルに使用される条件よりも強い条件を必要とする。 本研究では,ガウス確率ベクトルに対して得られた値と同一の誤差を,より強い条件を課さずに,その共変数が$L$-部分指数確率ベクトルから引き出される場合に適用する。 興味深いことに、我々は$\ell_1$-penalized Huberレグレッション(英語版)を採用している。 本研究では,$\ell_1$-penalized Huber回帰法の新たな側面を明らかにする。

関連論文リスト

• Dimension free ridge regression [10.434481202633458]
  我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。 新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
  論文  参考訳（メタデータ） (2022-10-16T16:01:05Z)
• Efficient Truncated Linear Regression with Unknown Noise Variance [26.870279729431328]
  雑音のばらつきが不明な場合に, 線形回帰の計算的, 統計的に効率的な推定器を提案する。 提案手法は, トランキャット標本の負の類似度に対して, プロジェクテッド・グラディエント・ディフレッシュを効果的に実装することに基づく。
  論文  参考訳（メタデータ） (2022-08-25T12:17:37Z)
• Statistical Query Lower Bounds for List-Decodable Linear Regression [55.06171096484622]
  本稿では,リスト復号化可能な線形回帰問題について考察する。 我々の主な成果は、この問題に対して$dmathrmpoly (1/alpha)$の統計的クエリ(SQ)の低いバウンダリである。
  論文  参考訳（メタデータ） (2021-06-17T17:45:21Z)
• A Precise Performance Analysis of Support Vector Regression [105.94855998235232]
  我々は,n$の線形測定に応用したハードおよびソフトサポートベクター回帰法について検討した。 得られた結果は、ハードおよびソフトサポートベクトル回帰アルゴリズムの設計に介入するパラメータを最適に調整するために使用される。
  論文  参考訳（メタデータ） (2021-05-21T14:26:28Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
  計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。 提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。 本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
  論文  参考訳（メタデータ） (2020-10-22T19:31:30Z)
• Estimating Stochastic Linear Combination of Non-linear Regressions Efficiently and Scalably [23.372021234032363]
  サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。 私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
  論文  参考訳（メタデータ） (2020-10-19T07:15:38Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• Asymptotic errors for convex penalized linear regression beyond Gaussian matrices [23.15629681360836]
  雑音線形観測から係数ベクトル$x_0$ in$RN$を学習する問題を考察する。 平均二乗誤差に対する明示的な式を厳密に導出する。 我々の予測は、非常に適度なサイズであっても、数値と非常によく一致していることを示す。
  論文  参考訳（メタデータ） (2020-02-11T13:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。