論文の概要: Statistical inference with implicit SGD: proximal Robbins-Monro vs. Polyak-Ruppert

• arxiv url: http://arxiv.org/abs/2206.12663v2
• Date: Tue, 28 Jun 2022 09:08:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-29 12:13:02.796571
• Title: Statistical inference with implicit SGD: proximal Robbins-Monro vs. Polyak-Ruppert
• Title（参考訳）: 暗黙的SGDによる統計的推測 : 近位ロビンスモンロ対ポリアク・ルパート
• Authors: Yoonhyung Lee, Sungdong Lee, and Joong-Ho Won
• Abstract要約: 本稿では,滑らかな凸関数に対するISGDの2つのモード,すなわちRobins-Monro (proxRM) と Proximal Poylak-Ruppert (proxPR) を詳細に解析する。 我々は、proxRMとその制限分布の非漸近点推定誤差境界を導出し、ISGDの単一実行しか必要としないコライン行列のオンライン推定器を提案する。
• 参考スコア（独自算出の注目度）: 17.128639251861784
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The implicit stochastic gradient descent (ISGD), a proximal version of SGD, is gaining interest in the literature due to its stability over (explicit) SGD. In this paper, we conduct an in-depth analysis of the two modes of ISGD for smooth convex functions, namely proximal Robbins-Monro (proxRM) and proximal Poylak-Ruppert (proxPR) procedures, for their use in statistical inference on model parameters. Specifically, we derive non-asymptotic point estimation error bounds of both proxRM and proxPR iterates and their limiting distributions, and propose on-line estimators of their asymptotic covariance matrices that require only a single run of ISGD. The latter estimators are used to construct valid confidence intervals for the model parameters. Our analysis is free of the generalized linear model assumption that has limited the preceding analyses, and employs feasible procedures. Our on-line covariance matrix estimators appear to be the first of this kind in the ISGD literature.
• Abstract（参考訳）: SGDの近位バージョンである暗黙の確率勾配降下(ISGD)は、SGDの安定性から文学への関心が高まっている。 本稿では,滑らかな凸関数(proxrm)に対するisgdの2つのモード,proxrm(proximal robbins-monro)とproxpr(proximal poylak-ruppert)の詳細な解析を行い,モデルパラメータの統計的推論に用いた。 具体的には、proxRMとproxPRの両方の非漸近点推定誤差境界とその制限分布を導出し、ISGDの単一実行のみを必要とする漸近共分散行列のオンライン推定器を提案する。 後者の推定器はモデルパラメータに対する有効な信頼区間を構築するために使用される。 本分析は,先行分析を制限した一般化線形モデル仮定から自由であり,実現可能な手順を採用している。 オンラインの共分散行列推定器は、isgd文献ではこの種の最初のものと思われる。

関連論文リスト

• Distributionally Robust Instrumental Variables Estimation [10.765695227417865]
  本稿では,機器変数(IV)推定のための分散ロバストなフレームワークを提案する。 Wasserstein DRIVEは、特に実践者がモデル仮定やデータの分散シフトについて不確実な場合、実際に好まれることを示す。
  論文  参考訳（メタデータ） (2024-10-21T04:33:38Z)
• Average Causal Effect Estimation in DAGs with Hidden Variables: Extensions of Back-Door and Front-Door Criteria [3.0232957374216953]
  隠れ変数を持つ有向パラメトリックグラフ(DAG)のクラスに対して,一段階補正プラグインと最小損失に基づく因果効果推定器を開発する。 機械学習を利用してモデリングの仮定を最小化するとともに、線形原始性、二重ロバスト性、効率性、および対象パラメータ空間の境界内に留まるといった重要な統計特性を保証します。
  論文  参考訳（メタデータ） (2024-09-06T01:07:29Z)
• Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
  本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。 点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。 両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-31T19:45:27Z)
• Statistical Properties of Robust Satisficing [5.0139295307605325]
  Robust Satisficing(RS)モデルは、堅牢な最適化に対する新たなアプローチである。 本稿では,RSモデルの理論的特性を包括的に解析する。 実験の結果,RSモデルは小サンプル体制における基礎的経験的リスクを常に上回ることがわかった。
  論文  参考訳（メタデータ） (2024-05-30T19:57:28Z)
• Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator [0.0]
  本稿では,凸問題の文脈における統計的推論のための勾配降下(SGD)の理論的性質について検討する。 多重誤差最小値を含む2つの干渉手順を提案する。
  論文  参考訳（メタデータ） (2023-06-03T22:08:10Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
  非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。 提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
  論文  参考訳（メタデータ） (2020-09-29T15:00:47Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification [101.0377583883137]
  射影ロバスト(PR)OTは、2つの測度の間のOTコストを最大化するために、射影可能な$k$次元部分空間を選択する。 私たちの最初の貢献は、PRワッサーシュタイン距離のいくつかの基本的な統計的性質を確立することである。 次に、部分空間を最適化するのではなく平均化することにより、PRW距離の代替として積分PRワッサーシュタイン距離(IPRW)を提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:35:33Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis [102.29671176698373]
  我々は、割引決定過程における政策評価の問題に対処し、生成モデルの下で、ll_infty$errorに対するマルコフに依存した保証を提供する。 我々は、ポリシー評価のために、局所ミニマックス下限の両漸近バージョンと非漸近バージョンを確立し、アルゴリズムを比較するためのインスタンス依存ベースラインを提供する。
  論文  参考訳（メタデータ） (2020-03-16T17:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。