論文の概要: Fast and Robust Online Inference with Stochastic Gradient Descent via
Random Scaling
- arxiv url: http://arxiv.org/abs/2106.03156v1
- Date: Sun, 6 Jun 2021 15:38:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 18:18:45.122065
- Title: Fast and Robust Online Inference with Stochastic Gradient Descent via
Random Scaling
- Title(参考訳): ランダムスケーリングによる確率的勾配Descentによる高速かつロバストなオンライン推論
- Authors: Sokbae Lee, Yuan Liao, Myung Hwan Seo, Youngki Shin
- Abstract要約: 本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。
我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
- 参考スコア(独自算出の注目度): 0.9806910643086042
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We develop a new method of online inference for a vector of parameters
estimated by the Polyak-Ruppert averaging procedure of stochastic gradient
descent (SGD) algorithms. We leverage insights from time series regression in
econometrics and construct asymptotically pivotal statistics via random
scaling. Our approach is fully operational with online data and is rigorously
underpinned by a functional central limit theorem. Our proposed inference
method has a couple of key advantages over the existing methods. First, the
test statistic is computed in an online fashion with only SGD iterates and the
critical values can be obtained without any resampling methods, thereby
allowing for efficient implementation suitable for massive online data. Second,
there is no need to estimate the asymptotic variance and our inference method
is shown to be robust to changes in the tuning parameters for SGD algorithms in
simulation experiments with synthetic data.
- Abstract(参考訳): 本稿では,確率勾配勾配(SGD)アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。
エコノメトリにおける時系列回帰からの洞察を活用し、ランダムスケーリングによる漸近的ピボット統計を構築する。
我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
提案手法は既存手法に対していくつかの利点がある。
まず、SGDのみを反復したオンライン方式でテスト統計を計算し、再サンプリング法を使わずに臨界値を得ることができるため、大規模なオンラインデータに適した効率的な実装が可能となる。
第2に、漸近分散を推定する必要はなく、合成データを用いたシミュレーション実験において、sgdアルゴリズムのチューニングパラメータの変化に対してロバストな推論手法が示されている。
関連論文リスト
- Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳(メタデータ) (2023-11-03T13:20:11Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。
提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
論文 参考訳(メタデータ) (2023-05-12T13:53:03Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳(メタデータ) (2021-04-09T14:50:59Z) - Online Robust and Adaptive Learning from Data Streams [22.319483572757097]
オンライン学習では、アウトレーヤにしっかりと学習し、基盤となるデータ生成メカニズムの変化に迅速に適応する必要がある。
本稿では,従来のオンライン学習アルゴリズムの属性をロバスト性,後者を適応性と呼ぶ。
本稿では,このトレードオフを評価するために,近似に基づくロバスト性適応アルゴリズム(SRA)を提案する。
論文 参考訳(メタデータ) (2020-07-23T17:49:04Z) - High-dimensional, multiscale online changepoint detection [7.502070498889449]
ガウス的データストリームが平均的に変更されるような設定において,高次元のオンライン変更点検出のための新しい手法を提案する。
このアルゴリズムは、新しい観測におけるストレージ要件と最悪の計算複雑性の両方が、以前の観測数とは無関係であるという意味で、オンラインである。
Rパッケージ 'ocd' に実装した提案手法の有効性をシミュレーションにより検証し,その有効性を地震学データセット上で実証する。
論文 参考訳(メタデータ) (2020-03-07T21:54:09Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z) - Online Covariance Matrix Estimation in Stochastic Gradient Descent [10.153224593032677]
勾配降下(SGD)は,特に大規模データセットやオンライン学習においてパラメータ推定に広く用いられている。
本稿では,オンライン環境でのSGDに基づく推定値の統計的推測を定量化することを目的とする。
論文 参考訳(メタデータ) (2020-02-10T17:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。