論文の概要: Statistical inference with implicit SGD: proximal Robbins-Monro vs.
Polyak-Ruppert
- arxiv url: http://arxiv.org/abs/2206.12663v2
- Date: Tue, 28 Jun 2022 09:08:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-29 12:13:02.796571
- Title: Statistical inference with implicit SGD: proximal Robbins-Monro vs.
Polyak-Ruppert
- Title(参考訳): 暗黙的SGDによる統計的推測 : 近位ロビンスモンロ対ポリアク・ルパート
- Authors: Yoonhyung Lee, Sungdong Lee, and Joong-Ho Won
- Abstract要約: 本稿では,滑らかな凸関数に対するISGDの2つのモード,すなわちRobins-Monro (proxRM) と Proximal Poylak-Ruppert (proxPR) を詳細に解析する。
我々は、proxRMとその制限分布の非漸近点推定誤差境界を導出し、ISGDの単一実行しか必要としないコライン行列のオンライン推定器を提案する。
- 参考スコア(独自算出の注目度): 17.128639251861784
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The implicit stochastic gradient descent (ISGD), a proximal version of SGD,
is gaining interest in the literature due to its stability over (explicit) SGD.
In this paper, we conduct an in-depth analysis of the two modes of ISGD for
smooth convex functions, namely proximal Robbins-Monro (proxRM) and proximal
Poylak-Ruppert (proxPR) procedures, for their use in statistical inference on
model parameters. Specifically, we derive non-asymptotic point estimation error
bounds of both proxRM and proxPR iterates and their limiting distributions, and
propose on-line estimators of their asymptotic covariance matrices that require
only a single run of ISGD. The latter estimators are used to construct valid
confidence intervals for the model parameters. Our analysis is free of the
generalized linear model assumption that has limited the preceding analyses,
and employs feasible procedures. Our on-line covariance matrix estimators
appear to be the first of this kind in the ISGD literature.
- Abstract(参考訳): SGDの近位バージョンである暗黙の確率勾配降下(ISGD)は、SGDの安定性から文学への関心が高まっている。
本稿では,滑らかな凸関数(proxrm)に対するisgdの2つのモード,proxrm(proximal robbins-monro)とproxpr(proximal poylak-ruppert)の詳細な解析を行い,モデルパラメータの統計的推論に用いた。
具体的には、proxRMとproxPRの両方の非漸近点推定誤差境界とその制限分布を導出し、ISGDの単一実行のみを必要とする漸近共分散行列のオンライン推定器を提案する。
後者の推定器はモデルパラメータに対する有効な信頼区間を構築するために使用される。
本分析は,先行分析を制限した一般化線形モデル仮定から自由であり,実現可能な手順を採用している。
オンラインの共分散行列推定器は、isgd文献ではこの種の最初のものと思われる。
関連論文リスト
- Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent
Estimator [0.0]
本稿では,凸問題の文脈における統計的推論のための勾配降下(SGD)の理論的性質について検討する。
多重誤差最小値を含む2つの干渉手順を提案する。
論文 参考訳(メタデータ) (2023-06-03T22:08:10Z) - Bayesian Analysis for Over-parameterized Linear Model without Sparsity [8.1585306387285]
本研究では,データ共分散行列の固有ベクトルに依存する事前分布を用いたベイズ的手法を提案する。
また、導出した後続推定の収縮率も提供し、後続分布のガウス近似を計算した。
これらの結果は,データスペクトルを処理し,非スパースな高次元パラメータを推定できるベイズ的手法が実現可能であることを示唆している。
論文 参考訳(メタデータ) (2023-05-25T06:07:47Z) - Sparse Horseshoe Estimation via Expectation-Maximisation [2.1485350418225244]
パラメータのMAP推定を計算するための新しい予測最大化(EM)手法を提案する。
我々のアプローチの特に強みは、M-ステップは前者の形式にのみ依存し、それは可能性の形式とは独立であるということである。
シミュレーションおよび実データを用いて行った実験では、我々の手法は最先端のスパース推定法に匹敵する、あるいは優れている。
論文 参考訳(メタデータ) (2022-11-07T00:43:26Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳(メタデータ) (2022-01-21T02:46:57Z) - Differentially Private Bayesian Inference for Generalized Linear Models [21.942149563564968]
ロジスティック回帰のような一般化線形モデル(GLM)は、データアナリストのレパートリーにおいて最も広く使われている武器の一つである。
本稿では,GLMの雑音を考慮したDPベイズ推定手法を提案する。
本モデルから得られた後部は,強いプライバシー保証に固執する一方で,非私的後部に近いものであることを実験的に実証した。
論文 参考訳(メタデータ) (2020-11-01T10:38:22Z) - Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。
提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
論文 参考訳(メタデータ) (2020-09-29T15:00:47Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - On Projection Robust Optimal Transport: Sample Complexity and Model
Misspecification [101.0377583883137]
射影ロバスト(PR)OTは、2つの測度の間のOTコストを最大化するために、射影可能な$k$次元部分空間を選択する。
私たちの最初の貢献は、PRワッサーシュタイン距離のいくつかの基本的な統計的性質を確立することである。
次に、部分空間を最適化するのではなく平均化することにより、PRW距離の代替として積分PRワッサーシュタイン距離(IPRW)を提案する。
論文 参考訳(メタデータ) (2020-06-22T14:35:33Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳(メタデータ) (2020-04-01T11:49:30Z) - Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis [102.29671176698373]
我々は、割引決定過程における政策評価の問題に対処し、生成モデルの下で、ll_infty$errorに対するマルコフに依存した保証を提供する。
我々は、ポリシー評価のために、局所ミニマックス下限の両漸近バージョンと非漸近バージョンを確立し、アルゴリズムを比較するためのインスタンス依存ベースラインを提供する。
論文 参考訳(メタデータ) (2020-03-16T17:15:28Z) - Online Covariance Matrix Estimation in Stochastic Gradient Descent [10.153224593032677]
勾配降下(SGD)は,特に大規模データセットやオンライン学習においてパラメータ推定に広く用いられている。
本稿では,オンライン環境でのSGDに基づく推定値の統計的推測を定量化することを目的とする。
論文 参考訳(メタデータ) (2020-02-10T17:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。