論文の概要: Generalized Simultaneous Perturbation-based Gradient Search with Reduced
Estimator Bias
- arxiv url: http://arxiv.org/abs/2212.10477v2
- Date: Sun, 12 Nov 2023 18:27:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 22:42:13.127353
- Title: Generalized Simultaneous Perturbation-based Gradient Search with Reduced
Estimator Bias
- Title(参考訳): 推定バイアスを低減した一般化同時摂動型勾配探索
- Authors: Soumen Pachal, Shalabh Bhatnagar and L.A. Prashanth
- Abstract要約: 本稿では,雑音関数測定を用いた一般化同時摂動探索(GSPGS)の家系について述べる。
各推定器に必要な関数の測定回数は、所望の精度のレベルによって導かれる。
- 参考スコア(独自算出の注目度): 7.372983005764439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present in this paper a family of generalized simultaneous
perturbation-based gradient search (GSPGS) estimators that use noisy function
measurements. The number of function measurements required by each estimator is
guided by the desired level of accuracy. We first present in detail unbalanced
generalized simultaneous perturbation stochastic approximation (GSPSA)
estimators and later present the balanced versions (B-GSPSA) of these. We
extend this idea further and present the generalized smoothed functional (GSF)
and generalized random directions stochastic approximation (GRDSA) estimators,
respectively, as well as their balanced variants. We show that estimators
within any specified class requiring more number of function measurements
result in lower estimator bias. We present a detailed analysis of both the
asymptotic and non-asymptotic convergence of the resulting stochastic
approximation schemes. We further present a series of experimental results with
the various GSPGS estimators on the Rastrigin and quadratic function
objectives. Our experiments are seen to validate our theoretical findings.
- Abstract(参考訳): 本稿では,ノイズ関数を用いた一般同時摂動に基づく勾配探索(gspgs)推定器のファミリについて述べる。
各推定器に必要な機能測定の数は、所望の精度によって導かれる。
まず,不均衡同時摂動確率近似 (gspsa) 推定器を詳細に提示し, それらの平衡バージョン (b-gspsa) について述べる。
この考え方をさらに拡張し、一般化スムーズ関数 (GSF) と一般化ランダム方向確率近似 (GRDSA) 推定器、およびそれらのバランスの取れた変種を提示する。
その結果,特定のクラス内において,より多くの関数計測が必要となると,推定バイアスが低下することが示された。
本稿では,得られた確率近似スキームの漸近的および非漸近的収束の詳細な解析を行う。
さらに,Rastriginおよび2次関数の目的に対する各種GSPGS推定器による一連の実験結果を示す。
我々の実験は理論的な結果を検証するのに役立つ。
関連論文リスト
- Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation [0.8192907805418583]
偏りのある勾配は滑らかな非函数に対する臨界点に収束することを示す。
適切なチューニングを行うことで,バイアスの効果を低減できることを示す。
論文 参考訳(メタデータ) (2024-02-05T10:17:36Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳(メタデータ) (2023-01-16T02:57:37Z) - Double Descent in Random Feature Models: Precise Asymptotic Analysis for
General Convex Regularization [4.8900735721275055]
より広い凸正規化項のクラスの下で回帰の一般化を正確に表現する。
我々は,本フレームワークの予測能力を数値的に示すとともに,非漸近的状態においても予測されたテスト誤差が正確であることを実験的に示す。
論文 参考訳(メタデータ) (2022-04-06T08:59:38Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Expected Validation Performance and Estimation of a Random Variable's
Maximum [48.83713377993604]
予測された検証性能に対する3つの統計的推定器を解析する。
偏りのない推定器は最も分散度が高く、最小分散度を持つ推定器は最大のバイアスを持つ。
2つの偏りのある推定器は、最も少ない誤った結論につながる。
論文 参考訳(メタデータ) (2021-10-01T18:48:47Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic
Bounds and Applications [0.6445605125467573]
勾配推定は統計学と学習理論において重要である。
ここでは古典的な回帰設定を考えると、実値の正方形可積分 r.v.$Y$ が予測される。
代替推定法で得られた値に対して, 漸近的境界が改良されることを証明した。
論文 参考訳(メタデータ) (2020-06-26T15:19:43Z) - Statistical Inference for Model Parameters in Stochastic Gradient
Descent [45.29532403359099]
勾配降下係数(SGD)は,その計算効率とメモリ効率から,大規模データの統計的推定に広く用いられている。
人口減少関数が強い凸であり,一定の条件を満たす場合,SGDに基づく真のモデルパラメータの統計的推測の問題について検討する。
論文 参考訳(メタデータ) (2016-10-27T07:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。