論文の概要: Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator

• arxiv url: http://arxiv.org/abs/2306.02205v1
• Date: Sat, 3 Jun 2023 22:08:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 19:25:06.144759
• Title: Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator
• Title（参考訳）: Nonconvex Stochastic Gradient Descent Estimatorを用いたオンラインブートストラップ推論
• Authors: Yanjie Zhong, Todd Kuffner and Soumendra Lahiri
• Abstract要約: 本稿では,凸問題の文脈における統計的推論のための勾配降下(SGD)の理論的性質について検討する。 多重誤差最小値を含む2つの干渉手順を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the theoretical properties of stochastic gradient descent (SGD) for statistical inference in the context of nonconvex optimization problems, which have been relatively unexplored compared to convex settings. Our study is the first to establish provable inferential procedures using the SGD estimator for general nonconvex objective functions, which may contain multiple local minima. We propose two novel online inferential procedures that combine SGD and the multiplier bootstrap technique. The first procedure employs a consistent covariance matrix estimator, and we establish its error convergence rate. The second procedure approximates the limit distribution using bootstrap SGD estimators, yielding asymptotically valid bootstrap confidence intervals. We validate the effectiveness of both approaches through numerical experiments. Furthermore, our analysis yields an intermediate result: the in-expectation error convergence rate for the original SGD estimator in nonconvex settings, which is comparable to existing results for convex problems. We believe this novel finding holds independent interest and enriches the literature on optimization and statistical inference.
• Abstract（参考訳）: 本稿では,非凸最適化問題の文脈における統計的推論のための確率的勾配降下(sgd)の理論的性質について検討する。 本研究は,複数の局所最小値を含む一般非凸目的関数に対するSGD推定器を用いた証明可能な推論手順を初めて確立したものである。 本稿では,sgd と multiplier bootstrap technique を組み合わせた2つのオンライン推論手法を提案する。 まず,一貫性のある共分散行列推定器を用い,その誤差収束率を定式化する。 第2の手順はブートストラップSGD推定器を用いて限界分布を近似し、漸近的に有効なブートストラップ信頼区間を与える。 両手法の有効性を数値実験により検証する。 さらに,本解析では,非凸条件下での元のSGD推定器の予測誤差収束率を,凸問題に対する既存の結果に匹敵する中間結果を得た。 この新たな発見は独立的な関心を持ち、最適化と統計推論に関する文献を豊かにすると信じている。

関連論文リスト

• Scalable method for Bayesian experimental design without integrating over posterior distribution [0.0]
  実験問題のA-最適ベイズ設計における計算効率について検討する。 A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。 本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:40:43Z)
• Statistical Inference with Stochastic Gradient Methods under $\phi$-mixing Data [9.77185962310918]
  データが$phi$-mixingの場合の統計的推測のためのミニバッチSGD推定器を提案する。 信頼区間は、関連するミニバッチSGDプロシージャを用いて構成される。 提案手法はメモリ効率が高く,実装が容易である。
  論文  参考訳（メタデータ） (2023-02-24T16:16:43Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• Computationally Efficient and Statistically Optimal Robust Low-rank Matrix and Tensor Estimation [15.389011827844572]
  低ランク線形収縮推定法では, どちらも統計的に困難である。 本稿では,計算効率だけでなく,統計的に最適である新しいサブオリエント(RsGrad)を提案する。
  論文  参考訳（メタデータ） (2022-03-02T09:05:15Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Non-Asymptotic Performance Guarantees for Neural Estimation of $\mathsf{f}$-Divergences [22.496696555768846]
  統計的距離は確率分布の相似性を定量化する。 このようなデータからの距離を推定する現代的な方法は、ニューラルネットワーク(NN)による変動形態のパラメータ化と最適化に依存する。 本稿では,このトレードオフを非漸近誤差境界を用いて検討し,SDの3つの一般的な選択に焦点をあてる。
  論文  参考訳（メタデータ） (2021-03-11T19:47:30Z)
• On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
  クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。 また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2019-04-18T02:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。