Fugu-MT 論文翻訳(概要): Generalized Simultaneous Perturbation Stochastic Approximation with Reduced Estimator Bias

論文の概要: Generalized Simultaneous Perturbation Stochastic Approximation with Reduced Estimator Bias

arxiv url: http://arxiv.org/abs/2212.10477v1
Date: Tue, 20 Dec 2022 17:50:36 GMT
ステータス: 処理完了
システム内更新日: 2022-12-21 14:45:26.269726
Title: Generalized Simultaneous Perturbation Stochastic Approximation with Reduced Estimator Bias
Title（参考訳）: 推定バイアスを低減した一般化同時摂動確率近似
Authors: Shalabh Bhatnagar and Prashanth L.A
Abstract要約: 本稿では、雑音関数測定を用いて目的の勾配を推定する一般化同時摂動近似(G-SPSA)の家系について述べる。特に、より多くの関数の測定値を持つ推定器は、より低いバイアスをもたらす。
参考スコア（独自算出の注目度）: 12.783511007483256
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present in this paper a family of generalized simultaneous perturbation stochastic approximation (G-SPSA) estimators that estimate the gradient of the objective using noisy function measurements, but where the number of function measurements and the form of the gradient estimator is guided by the desired estimator bias. In particular, estimators with more function measurements are seen to result in lower bias. We provide an analysis of convergence of the generalized SPSA algorithm, and point to possible future directions.
Abstract（参考訳）: 本稿では、雑音関数測定を用いて目的物の勾配を推定する一般化摂動確率近似(G-SPSA)の家系について述べるが、関数の測定数と勾配推定器の形状は、所望の推定器バイアスによって導かれる。特に、より多くの関数の測定値を持つ推定器は、より低いバイアスをもたらす。本稿では,一般化SPSAアルゴリズムの収束解析を行い,今後の方向性を示す。

関連論文リスト

Estimating Generalization Performance Along the Trajectory of Proximal SGD in Robust Regression [4.150180443030652]
本稿では,反復アルゴリズムの軌道に沿った反復の一般化誤差を正確に追跡する推定器を提案する。結果は、ハマー回帰(英語版)、擬ハマー回帰(英語版)、および非滑らかな正則化子を持つそれらのペナル化変種(英語版)など、いくつかの例を通して説明される。
論文参考訳（メタデータ） (2024-10-03T16:13:42Z)
Method-of-Moments Inference for GLMs and Doubly Robust Functionals under Proportional Asymptotics [30.324051162373973]
高次元一般化線形モデル(GLM)における回帰係数と信号対雑音比の推定について考察する。我々は、推論対象の一貫性と漸近的正規性(CAN)推定を導出する。理論的結果を数値実験と既存文献との比較で補完する。
論文参考訳（メタデータ） (2024-08-12T12:43:30Z)
Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文参考訳（メタデータ） (2024-07-11T13:28:34Z)
Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation [0.8192907805418583]
偏りのある勾配は滑らかな非函数に対する臨界点に収束することを示す。適切なチューニングを行うことで,バイアスの効果を低減できることを示す。
論文参考訳（メタデータ） (2024-02-05T10:17:36Z)
Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文参考訳（メタデータ） (2023-06-29T01:20:44Z)
Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文参考訳（メタデータ） (2023-01-16T02:57:37Z)
Double Descent in Random Feature Models: Precise Asymptotic Analysis for General Convex Regularization [4.8900735721275055]
より広い凸正規化項のクラスの下で回帰の一般化を正確に表現する。我々は,本フレームワークの予測能力を数値的に示すとともに,非漸近的状態においても予測されたテスト誤差が正確であることを実験的に示す。
論文参考訳（メタデータ） (2022-04-06T08:59:38Z)
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文参考訳（メタデータ） (2021-12-29T18:46:52Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文参考訳（メタデータ） (2021-08-25T21:30:27Z)
Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic Bounds and Applications [0.6445605125467573]
勾配推定は統計学と学習理論において重要である。ここでは古典的な回帰設定を考えると、実値の正方形可積分 r.v.$Y$ が予測される。代替推定法で得られた値に対して, 漸近的境界が改良されることを証明した。
論文参考訳（メタデータ） (2020-06-26T15:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。