論文の概要: Statistical Inference with Stochastic Gradient Algorithms

• arxiv url: http://arxiv.org/abs/2207.12395v1
• Date: Mon, 25 Jul 2022 17:58:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 14:01:57.320517
• Title: Statistical Inference with Stochastic Gradient Algorithms
• Title（参考訳）: 確率勾配アルゴリズムによる統計的推測
• Authors: Jeffrey Negrea, Jun Yang, Haoyue Feng, Daniel M. Roy, Jonathan H. Huggins
• Abstract要約: 勾配アルゴリズムは大規模学習問題や推論問題において最適化とサンプリングの両方に広く用いられている。 実際、これらのアルゴリズムのチューニングは通常、厳密で一般化可能な理論ではなく、試行錯誤を用いて行われる。 一定のステップサイズで適切に調整されたアルゴリズムは、点推定や後部的なサンプルを得るための計算効率が高く統計的に堅牢なアプローチを提供することを示す。
• 参考スコア（独自算出の注目度）: 18.93569692490218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic gradient algorithms are widely used for both optimization and sampling in large-scale learning and inference problems. However, in practice, tuning these algorithms is typically done using heuristics and trial-and-error rather than rigorous, generalizable theory. To address this gap between theory and practice, we novel insights into the effect of tuning parameters by characterizing the large-sample behavior of iterates of a very general class of preconditioned stochastic gradient algorithms with fixed step size. In the optimization setting, our results show that iterate averaging with a large fixed step size can result in statistically efficient approximation of the (local) M-estimator. In the sampling context, our results show that with appropriate choices of tuning parameters, the limiting stationary covariance can match either the Bernstein--von Mises limit of the posterior, adjustments to the posterior for model misspecification, or the asymptotic distribution of the MLE; and that with a naive tuning the limit corresponds to none of these. Moreover, we argue that an essentially independent sample from the stationary distribution can be obtained after a fixed number of passes over the dataset. We validate our asymptotic results in realistic finite-sample regimes via several experiments using simulated and real data. Overall, we demonstrate that properly tuned stochastic gradient algorithms with constant step size offer a computationally efficient and statistically robust approach to obtaining point estimates or posterior-like samples.
• Abstract（参考訳）: 確率勾配アルゴリズムは大規模学習および推論問題における最適化とサンプリングの両方に広く用いられている。 しかし、実際には、これらのアルゴリズムのチューニングは通常、厳密で一般化可能な理論ではなく、ヒューリスティックスと試行錯誤を用いて行われる。 この理論と実践のギャップに対処するために,事前条件付き確率勾配アルゴリズムの非常に一般的なクラスのイテレートの大規模サンプル挙動を固定ステップサイズで特徴付けることにより,パラメータのチューニングの効果について考察する。 最適化設定において,大きな固定ステップサイズを持つ反復平均化により,(局所的な)m推定器を統計的に効率的に近似できることを示す。 サンプリングの文脈では,調整パラメータの選択が適切であれば,後方のbernstein-von mises極限,モデル誤特定のための後方調整,mleの漸近分布のいずれかに制限定常共分散が一致し,naiveチューニングではこれらいずれにも一致しないことを示す。 さらに,固定分布からの本質的に独立したサンプルは,データセット上の一定数のパスの後に得ることができると主張する。 シミュレーションと実データを用いて, 有限サンプルレジームにおける漸近的結果の検証を行った。 全体として、一定のステップサイズで適切に調整された確率勾配アルゴリズムは、点推定や後部的なサンプルを得るための計算効率が高く統計的に堅牢なアプローチを提供することを示した。

関連論文リスト

• Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers [49.1574468325115]
  決定論的サンプリングのための統合収束分析フレームワークを提案する。 我々のフレームワークは$tilde O(d2/epsilon)$の反復複雑性を実現する。 また,Denoising Implicit Diffusion Models (DDIM) タイプのサンプルについて詳細な分析を行った。
  論文  参考訳（メタデータ） (2024-10-18T07:37:36Z)
• Method-of-Moments Inference for GLMs and Doubly Robust Functionals under Proportional Asymptotics [30.324051162373973]
  高次元一般化線形モデル(GLM)における回帰係数と信号対雑音比の推定について考察する。 我々は、推論対象の一貫性と漸近的正規性(CAN)推定を導出する。 理論的結果を数値実験と既存文献との比較で補完する。
  論文  参考訳（メタデータ） (2024-08-12T12:43:30Z)
• Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and Optimality [5.817158625734484]
  Gradient Descent (SGD) は、現代の統計学および機械学習において最も単純かつ最も人気のあるアルゴリズムの1つである。 異なる環境でのSGDの収束を加速するために、様々な平均化スキームが提案されている。
  論文  参考訳（メタデータ） (2023-07-13T17:29:01Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Dynamics of Stochastic Momentum Methods on Large-scale, Quadratic Models [0.2741266294612776]
  我々は高次元ランダム最小二乗問題に対して運動量を持つ勾配アルゴリズムのクラスを解析する。 固定運動量パラメータを持つ(小バッチ)運動量では,ステップサイズを正確に調整した場合,SGDよりも実際の性能向上は得られないことを示す。 非強凸条件では、運動量を用いてSGDよりも大きな改善が得られる。
  論文  参考訳（メタデータ） (2021-06-07T15:08:24Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Multi-index Antithetic Stochastic Gradient Algorithm [0.0]
  グラディエントアルゴリズム(SGA)は、計算統計学、機械学習、最適化においてユビキタスである。 近年、SGAへの関心が高まり、そのバイアスに関する非漸近的分析が十分に開発されている。 モンテカルロ推定器のクラスにおける平均2乗誤差計算コストの観点から,MASGAは最適推定器であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T22:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。