論文の概要: Generalized Simultaneous Perturbation-based Gradient Search with Reduced Estimator Bias

• arxiv url: http://arxiv.org/abs/2212.10477v2
• Date: Sun, 12 Nov 2023 18:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 22:42:13.127353
• Title: Generalized Simultaneous Perturbation-based Gradient Search with Reduced Estimator Bias
• Title（参考訳）: 推定バイアスを低減した一般化同時摂動型勾配探索
• Authors: Soumen Pachal, Shalabh Bhatnagar and L.A. Prashanth
• Abstract要約: 本稿では,雑音関数測定を用いた一般化同時摂動探索(GSPGS)の家系について述べる。 各推定器に必要な関数の測定回数は、所望の精度のレベルによって導かれる。
• 参考スコア（独自算出の注目度）: 7.372983005764439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present in this paper a family of generalized simultaneous perturbation-based gradient search (GSPGS) estimators that use noisy function measurements. The number of function measurements required by each estimator is guided by the desired level of accuracy. We first present in detail unbalanced generalized simultaneous perturbation stochastic approximation (GSPSA) estimators and later present the balanced versions (B-GSPSA) of these. We extend this idea further and present the generalized smoothed functional (GSF) and generalized random directions stochastic approximation (GRDSA) estimators, respectively, as well as their balanced variants. We show that estimators within any specified class requiring more number of function measurements result in lower estimator bias. We present a detailed analysis of both the asymptotic and non-asymptotic convergence of the resulting stochastic approximation schemes. We further present a series of experimental results with the various GSPGS estimators on the Rastrigin and quadratic function objectives. Our experiments are seen to validate our theoretical findings.
• Abstract（参考訳）: 本稿では,ノイズ関数を用いた一般同時摂動に基づく勾配探索(gspgs)推定器のファミリについて述べる。 各推定器に必要な機能測定の数は、所望の精度によって導かれる。 まず,不均衡同時摂動確率近似 (gspsa) 推定器を詳細に提示し, それらの平衡バージョン (b-gspsa) について述べる。 この考え方をさらに拡張し、一般化スムーズ関数 (GSF) と一般化ランダム方向確率近似 (GRDSA) 推定器、およびそれらのバランスの取れた変種を提示する。 その結果,特定のクラス内において,より多くの関数計測が必要となると,推定バイアスが低下することが示された。 本稿では,得られた確率近似スキームの漸近的および非漸近的収束の詳細な解析を行う。 さらに,Rastriginおよび2次関数の目的に対する各種GSPGS推定器による一連の実験結果を示す。 我々の実験は理論的な結果を検証するのに役立つ。

関連論文リスト

• Estimating Generalization Performance Along the Trajectory of Proximal SGD in Robust Regression [4.150180443030652]
  本稿では,反復アルゴリズムの軌道に沿った反復の一般化誤差を正確に追跡する推定器を提案する。 結果は、ハマー回帰(英語版)、擬ハマー回帰(英語版)、および非滑らかな正則化子を持つそれらのペナル化変種(英語版)など、いくつかの例を通して説明される。
  論文  参考訳（メタデータ） (2024-10-03T16:13:42Z)
• Method-of-Moments Inference for GLMs and Doubly Robust Functionals under Proportional Asymptotics [30.324051162373973]
  高次元一般化線形モデル(GLM)における回帰係数と信号対雑音比の推定について考察する。 我々は、推論対象の一貫性と漸近的正規性(CAN)推定を導出する。 理論的結果を数値実験と既存文献との比較で補完する。
  論文  参考訳（メタデータ） (2024-08-12T12:43:30Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation [0.8192907805418583]
  偏りのある勾配は滑らかな非函数に対する臨界点に収束することを示す。 適切なチューニングを行うことで,バイアスの効果を低減できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:17:36Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Double Descent in Random Feature Models: Precise Asymptotic Analysis for General Convex Regularization [4.8900735721275055]
  より広い凸正規化項のクラスの下で回帰の一般化を正確に表現する。 我々は,本フレームワークの予測能力を数値的に示すとともに,非漸近的状態においても予測されたテスト誤差が正確であることを実験的に示す。
  論文  参考訳（メタデータ） (2022-04-06T08:59:38Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic Bounds and Applications [0.6445605125467573]
  勾配推定は統計学と学習理論において重要である。 ここでは古典的な回帰設定を考えると、実値の正方形可積分 r.v.$Y$ が予測される。 代替推定法で得られた値に対して, 漸近的境界が改良されることを証明した。
  論文  参考訳（メタデータ） (2020-06-26T15:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。