論文の概要: Statistical Inference for Linear Functionals of Online SGD in High-dimensional Linear Regression
- arxiv url: http://arxiv.org/abs/2302.09727v2
- Date: Mon, 29 Apr 2024 00:53:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 01:44:16.346738
- Title: Statistical Inference for Linear Functionals of Online SGD in High-dimensional Linear Regression
- Title（参考訳）: 高次元線形回帰におけるオンラインSGDの線形関数の統計的推測
- Authors: Bhavya Agrawalla, Krishnakumar Balasubramanian, Promit Ghosal,
- Abstract要約: オンライン勾配勾配(SGD)の線形関数に対する高次元中央極限定理(CLT)を確立する。
我々は、CLTに現れる予測と分散項を推定するオンライン手法を開発し、開発したオンライン推定器の高確率境界を確立する。
我々は、CLT結果と分散推定結果とともに、信頼区間を数値的に構築する完全オンラインおよびデータ駆動の方法として、2段階の完全オンラインバイアス補正手法を提案する。
- 参考スコア（独自算出の注目度）: 14.521929085104441
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic gradient descent (SGD) has emerged as the quintessential method in a data scientist's toolbox. Using SGD for high-stakes applications requires, however, careful quantification of the associated uncertainty. Towards that end, in this work, we establish a high-dimensional Central Limit Theorem (CLT) for linear functionals of online SGD iterates for overparametrized least-squares regression with non-isotropic Gaussian inputs. Our result shows that a CLT holds even when the dimensionality is of order exponential in the number of iterations of the online SGD, which, to the best of our knowledge, is the first such result. In order to use the developed result in practice, we further develop an online approach for estimating the expectation and the variance terms appearing in the CLT, and establish high-probability bounds for the developed online estimator. Furthermore, we propose a two-step fully online bias-correction methodology which together with the CLT result and the variance estimation result, provides a fully online and data-driven way to numerically construct confidence intervals, thereby enabling practical high-dimensional algorithmic inference with SGD. We also extend our results to a class of single-index models, based on the Gaussian Stein's identity. We also provide numerical simulations to verify our theoretical findings in practice.
- Abstract（参考訳）: 確率勾配降下 (SGD) は、データ科学者のツールボックスにおいて重要な方法として登場した。
しかし、SGDを高精細な用途に使用するには、関連する不確実性の慎重な定量化が必要である。
この研究の目的のために、オンラインSGDの線形汎関数に対する高次元中心極限定理(CLT)を確立し、非等方的ガウス入力による過度にパラメータ化された最小二乗回帰を反復する。
この結果から,CLTはオンラインSGDの反復回数において次元が指数関数的に指数関数である場合でも成り立つことを示す。
本研究は,CLTに現れる予測と分散項を推定するオンライン手法をさらに発展させ,開発したオンライン推定器の高確率境界を確立することを目的とする。
さらに、CLT結果と分散推定結果とともに、信頼区間を数値的に構築し、SGDによる実用的な高次元アルゴリズム推論を可能にする2段階のオンライン偏差補正手法を提案する。
また、ガウスシュタインの同一性に基づく単射モデルのクラスにも結果を拡張した。
また,理論的な知見を実際に検証するための数値シミュレーションも提供する。
関連論文リスト
- Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。
本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。
提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
論文 参考訳（メタデータ） (2024-05-28T15:36:48Z) - Online Tensor Inference [0.0]
従来のオフライン学習は、各計算繰り返しにおける全てのデータの保存と利用を伴い、高次元テンソルデータには実用的ではない。
既存の低ランクテンソル法は、オンラインの方法での統計的推論能力に欠ける。
本手法では,広範囲なメモリ要求を伴わずに効率的なリアルタイムデータ処理を実現するため,グラディエント・Descent (SGD) を用いる。
論文 参考訳（メタデータ） (2023-12-28T16:37:48Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳（メタデータ） (2023-06-01T15:18:55Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。
本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。
効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
論文 参考訳（メタデータ） (2023-02-24T10:32:30Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Fast and Robust Online Inference with Stochastic Gradient Descent via
Random Scaling [0.9806910643086042]
本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。
我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
論文 参考訳（メタデータ） (2021-06-06T15:38:37Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z) - Online Covariance Matrix Estimation in Stochastic Gradient Descent [10.153224593032677]
勾配降下(SGD)は,特に大規模データセットやオンライン学習においてパラメータ推定に広く用いられている。
本稿では,オンライン環境でのSGDに基づく推定値の統計的推測を定量化することを目的とする。
論文 参考訳（メタデータ） (2020-02-10T17:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。