論文の概要: Online Covariance Matrix Estimation in Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2002.03979v3
• Date: Tue, 22 Jun 2021 15:16:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 07:59:38.233909
• Title: Online Covariance Matrix Estimation in Stochastic Gradient Descent
• Title（参考訳）: 確率勾配Descenceにおけるオンライン共分散行列の推定
• Authors: Wanrong Zhu, Xi Chen, Wei Biao Wu
• Abstract要約: 勾配降下(SGD)は,特に大規模データセットやオンライン学習においてパラメータ推定に広く用いられている。 本稿では,オンライン環境でのSGDに基づく推定値の統計的推測を定量化することを目的とする。
• 参考スコア（独自算出の注目度）: 10.153224593032677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The stochastic gradient descent (SGD) algorithm is widely used for parameter estimation, especially for huge data sets and online learning. While this recursive algorithm is popular for computation and memory efficiency, quantifying variability and randomness of the solutions has been rarely studied. This paper aims at conducting statistical inference of SGD-based estimates in an online setting. In particular, we propose a fully online estimator for the covariance matrix of averaged SGD iterates (ASGD) only using the iterates from SGD. We formally establish our online estimator's consistency and show that the convergence rate is comparable to offline counterparts. Based on the classic asymptotic normality results of ASGD, we construct asymptotically valid confidence intervals for model parameters. Upon receiving new observations, we can quickly update the covariance matrix estimate and the confidence intervals. This approach fits in an online setting and takes full advantage of SGD: efficiency in computation and memory.
• Abstract（参考訳）: 確率勾配勾配(SGD)アルゴリズムは,パラメータ推定,特に大規模データセットやオンライン学習に広く用いられている。 この再帰的アルゴリズムは計算とメモリ効率に人気があるが、解の変動性とランダム性を定量化することは稀である。 本稿では,SGDに基づく推定値の統計的推定をオンライン環境で行うことを目的とする。 特に,SGD の反復量のみを用いた平均 SGD 反復量 (ASGD) の共分散行列の完全オンライン推定法を提案する。 オンライン推定器の一貫性を正式に確立し、収束率がオフラインに匹敵することを示す。 ASGDの古典的漸近正規性結果に基づいて、モデルパラメータに対する漸近的に有効な信頼区間を構築する。 新しい観測を受信すると、共分散行列の推定値と信頼区間を素早く更新できる。 このアプローチはオンライン設定に適合し、SGD(計算とメモリの効率)を最大限に活用する。

関連論文リスト

• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。 本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。 提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Online and Offline Robust Multivariate Linear Regression [0.3277163122167433]
  提案手法は,オンライン勾配降下アルゴリズムと平均化バージョン,オフライン固定点アルゴリズムの2つである。 ノイズの分散行列は一般に未知であるため、マハラノビスに基づく勾配勾配アルゴリズムに頑健な推定をプラグインすることを提案する。
  論文  参考訳（メタデータ） (2024-04-30T12:30:48Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Statistical Inference for Linear Functionals of Online SGD in High-dimensional Linear Regression [14.521929085104441]
  オンライン勾配勾配(SGD)の線形関数に対する高次元中央極限定理(CLT)を確立する。 我々は、CLTに現れる予測と分散項を推定するオンライン手法を開発し、開発したオンライン推定器の高確率境界を確立する。 我々は、CLT結果と分散推定結果とともに、信頼区間を数値的に構築する完全オンラインおよびデータ駆動の方法として、2段階の完全オンラインバイアス補正手法を提案する。
  論文  参考訳（メタデータ） (2023-02-20T02:38:36Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Statistical Inference for Model Parameters in Stochastic Gradient Descent [45.29532403359099]
  勾配降下係数(SGD)は,その計算効率とメモリ効率から,大規模データの統計的推定に広く用いられている。 人口減少関数が強い凸であり,一定の条件を満たす場合,SGDに基づく真のモデルパラメータの統計的推測の問題について検討する。
  論文  参考訳（メタデータ） (2016-10-27T07:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。