論文の概要: Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and
Optimality
- arxiv url: http://arxiv.org/abs/2307.06915v2
- Date: Tue, 18 Jul 2023 17:28:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 18:10:38.403866
- Title: Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and
Optimality
- Title(参考訳): 重み付き平均確率勾配降下:漸近正規性と最適性
- Authors: Ziyang Wei, Wanrong Zhu, Wei Biao Wu
- Abstract要約: Gradient Descent (SGD) は、現代の統計学および機械学習において最も単純かつ最も人気のあるアルゴリズムの1つである。
異なる環境でのSGDの収束を加速するために、様々な平均化スキームが提案されている。
- 参考スコア(独自算出の注目度): 5.817158625734484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic Gradient Descent (SGD) is one of the simplest and most popular
algorithms in modern statistical and machine learning due to its computational
and memory efficiency. Various averaging schemes have been proposed to
accelerate the convergence of SGD in different settings. In this paper, we
explore a general averaging scheme for SGD. Specifically, we establish the
asymptotic normality of a broad range of weighted averaged SGD solutions and
provide asymptotically valid online inference approaches. Furthermore, we
propose an adaptive averaging scheme that exhibits both optimal statistical
rate and favorable non-asymptotic convergence, drawing insights from the
optimal weight for the linear model in terms of non-asymptotic mean squared
error (MSE).
- Abstract(参考訳): Stochastic Gradient Descent (SGD) は、その計算とメモリ効率により、現代の統計学と機械学習において最も単純かつ最も人気のあるアルゴリズムの1つである。
異なる環境でのSGDの収束を加速する様々な平均化スキームが提案されている。
本稿では,SGDの一般的な平均化手法について検討する。
具体的には、幅広い重み付き平均SGDソリューションの漸近正規性を確立し、漸近的に有効なオンライン推論手法を提供する。
さらに, 線形モデルの最適重みから, 非漸近平均二乗誤差(MSE)の観点から, 最適統計率と良好な非漸近収束性の両方を示す適応平均化手法を提案する。
関連論文リスト
- Adaptive Linear Estimating Equations [5.985204759362746]
本稿では,デバイアス推定器の一般的な構成法を提案する。
適応線形推定方程式の考え方を利用し、正規性の理論的保証を確立する。
我々の推定器の健全な特徴は、マルチアームバンディットの文脈では、我々の推定器は非漸近的な性能を保っていることである。
論文 参考訳(メタデータ) (2023-07-14T12:55:47Z) - Accelerated stochastic approximation with state-dependent noise [7.623467689146604]
勾配観測における2次雑音に対する一般仮定の下での滑らかな凸最適化問題を考察する。
このような問題は、統計学におけるよく知られた一般化された線形回帰問題において、様々な応用において自然に発生する。
SAGDとSGEは、適切な条件下で、最適収束率を達成することを示す。
論文 参考訳(メタデータ) (2023-07-04T06:06:10Z) - Online Statistical Inference for Contextual Bandits via Stochastic
Gradient Descent [10.108468796986074]
意思決定の文脈的包括的枠組みにおけるモデルパラメータのオンライン統計的推測について検討する。
本稿では,重み付き勾配勾配による決定規則の更新が可能な,オンラインおよび適応型データ収集環境のための汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-30T18:57:08Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Tuning Stochastic Gradient Algorithms for Statistical Inference via
Large-Sample Asymptotics [18.93569692490218]
勾配アルゴリズムのチューニングは、一般化可能な理論ではなく、試行錯誤に基づくことが多い。
固定ステップの大きい平均化は、チューニングパラメータの選択に対して堅牢であることを示す。
我々は他の勾配モンテカルロアルゴリズムの体系的解析の基礎を築いた。
論文 参考訳(メタデータ) (2022-07-25T17:58:09Z) - Stochastic Approximation with Decision-Dependent Distributions: Asymptotic Normality and Optimality [8.771678221101368]
我々は、アルゴリズムが使用するデータ分布が反復列に沿って進化する決定依存問題に対する近似を解析する。
軽微な仮定の下では、アルゴリズムの反復と解の偏差は正規であることを示す。
また,平均化アルゴリズムの性能は局所的に最小限であることを示す。
論文 参考訳(メタデータ) (2022-07-09T01:44:17Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳(メタデータ) (2020-02-20T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。