論文の概要: Online Statistical Inference for Gradient-free Stochastic Optimization
- arxiv url: http://arxiv.org/abs/2102.03389v1
- Date: Fri, 5 Feb 2021 19:22:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 02:08:55.528709
- Title: Online Statistical Inference for Gradient-free Stochastic Optimization
- Title（参考訳）: 勾配フリー確率最適化のためのオンライン統計量推定
- Authors: Xi Chen, Zehua Lai, He Li, Yichen Zhang
- Abstract要約: 勾配自由最適化法に基づくモデルパラメータの統計的推測問題について検討する。
本稿では,ポリアークラッパート吸収型勾配自由度推定器の集中限界値について述べる。
また、共分散推定のための一般的な勾配のないフレームワークを提供し、共分散推定器の収束速度における関数クエリの複雑さの役割を解析する。
- 参考スコア（独自算出の注目度）: 11.00424351177597
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As gradient-free stochastic optimization gains emerging attention for a wide
range of applications recently, the demand for uncertainty quantification of
parameters obtained from such approaches arises. In this paper, we investigate
the problem of statistical inference for model parameters based on
gradient-free stochastic optimization methods that use only function values
rather than gradients. We first present central limit theorem results for
Polyak-Ruppert-averaging type gradient-free estimators. The asymptotic
distribution reflects the trade-off between the rate of convergence and
function query complexity. We next construct valid confidence intervals for
model parameters through the estimation of the covariance matrix in a fully
online fashion. We further give a general gradient-free framework for
covariance estimation and analyze the role of function query complexity in the
convergence rate of the covariance estimator. This provides a one-pass
computationally efficient procedure for simultaneously obtaining an estimator
of model parameters and conducting statistical inference. Finally, we provide
numerical experiments to verify our theoretical results and illustrate some
extensions of our method for various machine learning and deep learning
applications.
- Abstract（参考訳）: 近年,グラデーションフリーの確率最適化が幅広い応用で注目されるようになり,そのような手法から得られるパラメータの不確実性定量化の需要が高まる。
本稿では,勾配ではなく関数値のみを用いる勾配自由確率最適化法に基づいて,モデルパラメータの統計的推論の問題を検討する。
まず,ポリak-ruppert平均型勾配なし推定器に対する中央極限定理結果を示す。
漸近分布は収束率と関数クエリの複雑さの間のトレードオフを反映している。
次に,完全オンライン方式で共分散行列を推定することにより,モデルパラメータの有効信頼区間を構成する。
さらに,共分散推定のための一般勾配フリーフレームワークを与え,共分散推定器の収束率における関数問合せ複雑性の役割を解析する。
モデルパラメータの推定値を同時に取得し、統計推論を行うためのワンパス計算効率の高い手順を提供する。
最後に、理論結果を検証し、様々な機械学習およびディープラーニングアプリケーションのためのメソッドの拡張を示すための数値実験を提供します。
関連論文リスト
- A general error analysis for randomized low-rank approximation with application to data assimilation [42.57210316104905]
中心行列および非標準行列に対するフロベニウスノルムにおける低ランク近似誤差の解析のための枠組みを提案する。
最小限の仮定の下では、期待と確率の正確な境界を導出する。
私たちの境界には、プロパティを導出し、実践的な選択を動機付けるための明確な解釈があります。
論文 参考訳（メタデータ） (2024-05-08T04:51:56Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳（メタデータ） (2022-01-21T02:46:57Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:51:10Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Statistical optimality and stability of tangent transform algorithms in
logit models [6.9827388859232045]
我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。
特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。
我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
論文 参考訳（メタデータ） (2020-10-25T05:15:13Z) - Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。
本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。
ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
論文 参考訳（メタデータ） (2020-06-11T19:40:38Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z) - Asymptotic Analysis of Sampling Estimators for Randomized Numerical
Linear Algebra Algorithms [43.134933182911766]
最小二乗問題に対するRandNLAサンプリング推定器の分布を導出する解析法を開発した。
AAMSE(Asymptotic Mean Squared Error)とEAMSE(Asymsymotic Mean Squared Error)に基づく最適なサンプリング確率の同定を行った。
提案手法は, サンプリングプロセスにおけるレバレッジの役割を明らかにするとともに, 実験により既存の手法よりも改善したことを示す。
論文 参考訳（メタデータ） (2020-02-24T20:34:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。