論文の概要: High-dimensional Central Limit Theorems for Linear Functionals of Online Least-Squares SGD

• arxiv url: http://arxiv.org/abs/2302.09727v1
• Date: Mon, 20 Feb 2023 02:38:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 16:55:46.969215
• Title: High-dimensional Central Limit Theorems for Linear Functionals of Online Least-Squares SGD
• Title（参考訳）: オンライン最小二乗SGDの線形関数に対する高次元中心極限定理
• Authors: Bhavya Agrawalla, Krishnakumar Balasubramanian, Promit Ghosal
• Abstract要約: 勾配降下 (SGD) は、データ科学者のツールボックスにおいて重要な方法として登場した。 オンライン最小二乗SGDの線形汎関数に対する高次元中央極限定理(CLT)を確立する。 本研究の主な成果は,オンラインSGDの反復回数において次元が指数関数的に指数関数である場合でも,CLTは成り立つことを示す。
• 参考スコア（独自算出の注目度）: 8.658596218544774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent (SGD) has emerged as the quintessential method in a data scientist's toolbox. Much progress has been made in the last two decades toward understanding the iteration complexity of SGD (in expectation and high-probability) in the learning theory and optimization literature. However, using SGD for high-stakes applications requires careful quantification of the associated uncertainty. Toward that end, in this work, we establish high-dimensional Central Limit Theorems (CLTs) for linear functionals of online least-squares SGD iterates under a Gaussian design assumption. Our main result shows that a CLT holds even when the dimensionality is of order exponential in the number of iterations of the online SGD, thereby enabling high-dimensional inference with online SGD. Our proof technique involves leveraging Berry-Esseen bounds developed for martingale difference sequences and carefully evaluating the required moment and quadratic variation terms through recent advances in concentration inequalities for product random matrices. We also provide an online approach for estimating the variance appearing in the CLT (required for constructing confidence intervals in practice) and establish consistency results in the high-dimensional setting.
• Abstract（参考訳）: 確率的勾配降下(sgd)は、データサイエンティストのツールボックスにおいて重要な手法である。 学習理論と最適化文学におけるSGDの反復複雑性(期待と高い確率)を理解するために、過去20年間に多くの進歩がなされてきた。 しかし、sgdを高スループットアプリケーションに適用するには、関連する不確かさを慎重に定量化する必要がある。 そこで本研究では,オンライン最小二乗 SGD の線型汎関数に対する高次元中心極限定理(CLT)をガウス的設計仮定の下で反復する。 本研究の主目的は,オンラインSGDの反復回数において次元が指数関数的に指数関数である場合でもCLTは成り立ち,オンラインSGDによる高次元推論を可能にすることである。 本手法は,マルティンゲール差分列用に開発されたベリー・エスセン境界を活用し,製品乱数行列に対する最近の濃度不等式の発展を通じて,必要なモーメントと二次変動項を注意深く評価するものである。 また,clt(実際に信頼区間を構築するために要求される)に現れる分散を推定し,高次元設定における一貫性を確立するためのオンライン手法を提案する。

関連論文リスト

• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。 本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。 提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Online Tensor Inference [0.0]
  従来のオフライン学習は、各計算繰り返しにおける全てのデータの保存と利用を伴い、高次元テンソルデータには実用的ではない。 既存の低ランクテンソル法は、オンラインの方法での統計的推論能力に欠ける。 本手法では,広範囲なメモリ要求を伴わずに効率的なリアルタイムデータ処理を実現するため,グラディエント・Descent (SGD) を用いる。
  論文  参考訳（メタデータ） (2023-12-28T16:37:48Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Online Covariance Matrix Estimation in Stochastic Gradient Descent [10.153224593032677]
  勾配降下(SGD)は,特に大規模データセットやオンライン学習においてパラメータ推定に広く用いられている。 本稿では,オンライン環境でのSGDに基づく推定値の統計的推測を定量化することを目的とする。
  論文  参考訳（メタデータ） (2020-02-10T17:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。