Fugu-MT 論文翻訳(概要): Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and Optimality

論文の概要: Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and Optimality

arxiv url: http://arxiv.org/abs/2307.06915v1
Date: Thu, 13 Jul 2023 17:29:01 GMT
ステータス: 処理完了
システム内更新日: 2023-07-14 13:48:43.260380
Title: Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and Optimality
Title（参考訳）: 重み付き平均確率勾配降下:漸近正規性と最適性
Authors: Ziyang Wei, Wanrong Zhu, Wei Biao Wu
Abstract要約: Gradient Descent (SGD) は、現代の統計学および機械学習において最も単純かつ最も人気のあるアルゴリズムの1つである。異なる環境でのSGDの収束を加速するために、様々な平均化スキームが提案されている。
参考スコア（独自算出の注目度）: 5.817158625734484
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Stochastic Gradient Descent (SGD) is one of the simplest and most popular algorithms in modern statistical and machine learning due to its computational and memory efficiency. Various averaging schemes have been proposed to accelerate the convergence of SGD in different settings. In this paper, we explore a general averaging scheme for SGD. Specifically, we establish the asymptotic normality of a broad range of weighted averaged SGD solutions and provide asymptotically valid online inference approaches. Furthermore, we propose an adaptive averaging scheme that exhibits both optimal statistical rate and favorable non-asymptotic convergence, drawing insights from the optimal weight for the linear model in terms of non-asymptotic mean squared error (MSE).
Abstract（参考訳）: Stochastic Gradient Descent (SGD) は、その計算とメモリ効率により、現代の統計学と機械学習において最も単純かつ最も人気のあるアルゴリズムの1つである。異なる環境でのSGDの収束を加速する様々な平均化スキームが提案されている。本稿では,SGDの一般的な平均化手法について検討する。具体的には、幅広い重み付き平均SGDソリューションの漸近正規性を確立し、漸近的に有効なオンライン推論手法を提供する。さらに, 線形モデルの最適重みから, 非漸近平均二乗誤差(MSE)の観点から, 最適統計率と良好な非漸近収束性の両方を示す適応平均化手法を提案する。

関連論文リスト

Asymptotically Optimal Change Detection for Unnormalized Pre- and Post-Change Distributions [65.38208224389027]
本稿では,非正規化前および後の変化分布のみがアクセス可能である場合にのみ,変化を検出する問題に対処する。提案手法は,最適性能を示すことが知られている累積サム統計量の推定に基づく。
論文参考訳（メタデータ） (2024-10-18T17:13:29Z)
A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文参考訳（メタデータ） (2024-10-14T12:10:06Z)
Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文参考訳（メタデータ） (2024-04-16T20:01:10Z)
Adaptive Linear Estimating Equations [5.985204759362746]
本稿では,デバイアス推定器の一般的な構成法を提案する。適応線形推定方程式の考え方を利用し、正規性の理論的保証を確立する。我々の推定器の健全な特徴は、マルチアームバンディットの文脈では、我々の推定器は非漸近的な性能を保っていることである。
論文参考訳（メタデータ） (2023-07-14T12:55:47Z)
Accelerated stochastic approximation with state-dependent noise [7.4648480208501455]
勾配観測における2次雑音に対する一般仮定の下での滑らかな凸最適化問題を考察する。このような問題は、統計学におけるよく知られた一般化された線形回帰問題において、様々な応用において自然に発生する。 SAGDとSGEは、適切な条件下で、最適収束率を達成することを示す。
論文参考訳（メタデータ） (2023-07-04T06:06:10Z)
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent [10.108468796986074]
意思決定の文脈的包括的枠組みにおけるモデルパラメータのオンライン統計的推測について検討する。本稿では,重み付き勾配勾配による決定規則の更新が可能な,オンラインおよび適応型データ収集環境のための汎用フレームワークを提案する。
論文参考訳（メタデータ） (2022-12-30T18:57:08Z)
Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文参考訳（メタデータ） (2022-09-27T07:58:25Z)
Tuning Stochastic Gradient Algorithms for Statistical Inference via Large-Sample Asymptotics [18.93569692490218]
勾配アルゴリズムのチューニングは、一般化可能な理論ではなく、試行錯誤に基づくことが多い。固定ステップの大きい平均化は、チューニングパラメータの選択に対して堅牢であることを示す。我々は他の勾配モンテカルロアルゴリズムの体系的解析の基礎を築いた。
論文参考訳（メタデータ） (2022-07-25T17:58:09Z)
Stochastic Approximation with Decision-Dependent Distributions: Asymptotic Normality and Optimality [8.771678221101368]
我々は、アルゴリズムが使用するデータ分布が反復列に沿って進化する決定依存問題に対する近似を解析する。軽微な仮定の下では、アルゴリズムの反復と解の偏差は正規であることを示す。また,平均化アルゴリズムの性能は局所的に最小限であることを示す。
論文参考訳（メタデータ） (2022-07-09T01:44:17Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文参考訳（メタデータ） (2020-11-05T08:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。