論文の概要: Risk of the Least Squares Minimum Norm Estimator under the Spike Covariance Model

• arxiv url: http://arxiv.org/abs/1912.13421v2
• Date: Tue, 18 Feb 2020 08:26:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 20:25:23.932173
• Title: Risk of the Least Squares Minimum Norm Estimator under the Spike Covariance Model
• Title（参考訳）: スパイク共分散モデルにおける最小二乗最小ノルム推定器のリスク
• Authors: Yasaman Mahdaviyeh, Zacharie Naulet
• Abstract要約: パラメータ数$d$が$n$と$fracdn rightarrow infty$に依存するとき、最小ノルム最小二乗推定子のリスクを研究する。 この設定では、最小ノルム最小二乗推定器のリスクは、ヌル推定器のリスクと比較して消える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study risk of the minimum norm linear least squares estimator in when the number of parameters $d$ depends on $n$, and $\frac{d}{n} \rightarrow \infty$. We assume that data has an underlying low rank structure by restricting ourselves to spike covariance matrices, where a fixed finite number of eigenvalues grow with $n$ and are much larger than the rest of the eigenvalues, which are (asymptotically) in the same order. We show that in this setting risk of minimum norm least squares estimator vanishes in compare to risk of the null estimator. We give asymptotic and non asymptotic upper bounds for this risk, and also leverage the assumption of spike model to give an analysis of the bias that leads to tighter bounds in compare to previous works.
• Abstract（参考訳）: d$ のパラメータ数が $n$ と $\frac{d}{n} \rightarrow \infty$ に依存する場合の最小ノルム線形最小二乗推定器のリスクについて検討する。 データはスパイク共分散行列(spike covariance matrices)に制限され、固定された有限個の固有値が n$ で成長し、(漸近的に)同じ順序の他の固有値よりもはるかに大きい、という基礎となる低ランク構造を持つと仮定する。 この設定では、最小ノルム最小二乗推定器のリスクは、ヌル推定器のリスクと比較して消える。 我々は,このリスクに対して漸近的かつ非漸近的な上限を与えるとともに,スパイクモデルの仮定を活用して,従来の作品と比較してより厳密な境界となるバイアスの分析を行う。

関連論文リスト

• Minimax Linear Regression under the Quantile Risk [31.277788690403522]
  量子リスク下での線形回帰におけるミニマックス法の設計問題について検討する。 我々は,最近提案されたmin-max回帰法の変種における最悪のケース量子化リスクに一致する上限を証明した。
  論文  参考訳（メタデータ） (2024-06-17T23:24:14Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression [19.31269916674961]
  実現可能な場合、即時仮定では、$O(d)$サンプルはターゲットを正確に回復するのに十分であることを示す。 この結果は、 (1, 2)$) の場合、最小化子におけるリスクのヘッセンの存在を保証する穏やかな仮定の下で、$p in (1, 2)$ に拡張する。
  論文  参考訳（メタデータ） (2023-10-19T03:21:28Z)
• Risk Estimation in a Markov Cost Process: Lower and Upper Bounds [3.1484174280822845]
  我々はマルコフコストプロセスにおいて、無限水平割引コストのリスク対策を推定する問題に取り組む。 私たちが調査するリスク尺度には、分散、バリュー・アット・リスク(VaR)、条件付きバリュー・アット・リスク(CVaR)がある。
  論文  参考訳（メタデータ） (2023-10-17T16:35:39Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Non asymptotic estimation lower bounds for LTI state space models with Cram\'er-Rao and van Trees [1.14219428942199]
  本研究では,未知の共分散のガウス励起を持つ線形時間不変(LTI)状態空間モデルに対する推定問題について検討する。 予測される推定誤差と最小二乗推定器の平均二乗推定リスクに対して非下界を与える。 その結果, 推定リスクを期待して, 既存の下限を下限に拡張し, 改善した。
  論文  参考訳（メタデータ） (2021-09-17T15:00:25Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
  有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。 3つの設定でミニマックスレート・オプティマティックな手順を開発。
  論文  参考訳（メタデータ） (2021-01-19T18:55:29Z)
• Suboptimality of Constrained Least Squares and Improvements via Non-Linear Predictors [3.5788754401889014]
  有界ユークリッド球における正方形損失に対する予測問題と最良の線形予測器について検討する。 最小二乗推定器に対する$O(d/n)$過剰リスク率を保証するのに十分な分布仮定について論じる。
  論文  参考訳（メタデータ） (2020-09-19T21:39:46Z)
• Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection [71.9765117768556]
  本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。 この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。 本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-04T04:10:39Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。