論文の概要: Unbiased least squares regression via averaged stochastic gradient descent

• arxiv url: http://arxiv.org/abs/2406.18623v1
• Date: Wed, 26 Jun 2024 11:39:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 18:17:19.643866
• Title: Unbiased least squares regression via averaged stochastic gradient descent
• Title（参考訳）: 平均確率勾配勾配による不偏極最小二乗回帰
• Authors: Nabil Kahalé,
• Abstract要約: 最適解 $theta*$ および Hessian matrix H を用いたオンライン最小二乗回帰問題を考える。 kge2$の場合、時間平均推定器の修正である$theta*$の偏りのない推定器を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider an on-line least squares regression problem with optimal solution $\theta^*$ and Hessian matrix H, and study a time-average stochastic gradient descent estimator of $\theta^*$. For $k\ge2$, we provide an unbiased estimator of $\theta^*$ that is a modification of the time-average estimator, runs with an expected number of time-steps of order k, with O(1/k) expected excess risk. The constant behind the O notation depends on parameters of the regression and is a poly-logarithmic function of the smallest eigenvalue of H. We provide both a biased and unbiased estimator of the expected excess risk of the time-average estimator and of its unbiased counterpart, without requiring knowledge of either H or $\theta^*$. We describe an "average-start" version of our estimators with similar properties. Our approach is based on randomized multilevel Monte Carlo. Our numerical experiments confirm our theoretical findings.
• Abstract（参考訳）: 最適解 $\theta^*$ および Hessian matrix H を用いたオンライン最小二乗回帰問題を考察し、平均的確率勾配勾配推定器 $\theta^*$ について検討する。 k\ge2$ に対して、平均時間推定器の修正である $\theta^*$ の偏りのない推定器を、O(1/k) が過剰なリスクを期待する順序 k の時間ステップ数で実行する。 我々は、平均値推定器の予想余剰リスクのバイアス付きおよび非バイアス付き推定器と、H または $\theta^*$ の知識を必要とせず、その非バイアス付き推定器を提供する。 同様の特性を持つ推定器の"平均開始"バージョンについて説明する。 我々のアプローチはランダム化されたマルチレベルモンテカルロに基づいている。 我々の数値実験は我々の理論的な発見を裏付けるものである。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Unbiased Kinetic Langevin Monte Carlo with Inexact Gradients [0.8749675983608172]
  動力学的ランゲヴィンダイナミクスに基づく後進手段の非バイアス化手法を提案する。 提案した推定器は偏りがなく、有限分散となり、中心極限定理を満たす。 以上の結果から, 偏りのないアルゴリズムは, ランダムなハミルトニアンモンテカルロよりもはるかに効率的であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-08T21:19:52Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Efficient Truncated Linear Regression with Unknown Noise Variance [26.870279729431328]
  雑音のばらつきが不明な場合に, 線形回帰の計算的, 統計的に効率的な推定器を提案する。 提案手法は, トランキャット標本の負の類似度に対して, プロジェクテッド・グラディエント・ディフレッシュを効果的に実装することに基づく。
  論文  参考訳（メタデータ） (2022-08-25T12:17:37Z)
• Constructing unbiased gradient estimators with finite variance for conditional stochastic optimization [0.0]
  条件最適化問題の解法として勾配降下法について検討する。 このようなパラメトリックなネスト予想の勾配は、再びネスト予想として表される。 いくつかの条件下では、マルチレベルモンテカルロ勾配推定器が非バイアスであることを示す。
  論文  参考訳（メタデータ） (2022-06-04T13:28:44Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Stochastic Bias-Reduced Gradient Methods [44.35885731095432]
  モロー・吉田関数の任意の有界な$x_star$の低バイアスで低コストな平滑化である。
  論文  参考訳（メタデータ） (2021-06-17T13:33:05Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic Bounds and Applications [0.6445605125467573]
  勾配推定は統計学と学習理論において重要である。 ここでは古典的な回帰設定を考えると、実値の正方形可積分 r.v.$Y$ が予測される。 代替推定法で得られた値に対して, 漸近的境界が改良されることを証明した。
  論文  参考訳（メタデータ） (2020-06-26T15:19:43Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。