論文の概要: Covariance Estimators for the ROOT-SGD Algorithm in Online Learning

• arxiv url: http://arxiv.org/abs/2212.01259v1
• Date: Fri, 2 Dec 2022 15:55:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 16:14:41.432378
• Title: Covariance Estimators for the ROOT-SGD Algorithm in Online Learning
• Title（参考訳）: オンライン学習におけるルートsgdアルゴリズムの共分散推定
• Authors: Yiling Luo, Xiaoming Huo, Yajun Mei
• Abstract要約: ROOT-SGDのアルゴリズム共分散に対する2つの推定器を開発した。 最初の推定器はプラグインの考え方を採用し, 共分散公式の未知の要素ごとに, 経験的手法で置き換える。 2つ目の推定器は、制限を克服するヘッセン自由推定器である。
• 参考スコア（独自算出の注目度）: 7.00422423634143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online learning naturally arises in many statistical and machine learning problems. The most widely used methods in online learning are stochastic first-order algorithms. Among this family of algorithms, there is a recently developed algorithm, Recursive One-Over-T SGD (ROOT-SGD). ROOT-SGD is advantageous in that it converges at a non-asymptotically fast rate, and its estimator further converges to a normal distribution. However, this normal distribution has unknown asymptotic covariance; thus cannot be directly applied to measure the uncertainty. To fill this gap, we develop two estimators for the asymptotic covariance of ROOT-SGD. Our covariance estimators are useful for statistical inference in ROOT-SGD. Our first estimator adopts the idea of plug-in. For each unknown component in the formula of the asymptotic covariance, we substitute it with its empirical counterpart. The plug-in estimator converges at the rate $\mathcal{O}(1/\sqrt{t})$, where $t$ is the sample size. Despite its quick convergence, the plug-in estimator has the limitation that it relies on the Hessian of the loss function, which might be unavailable in some cases. Our second estimator is a Hessian-free estimator that overcomes the aforementioned limitation. The Hessian-free estimator uses the random-scaling technique, and we show that it is an asymptotically consistent estimator of the true covariance.
• Abstract（参考訳）: オンライン学習は多くの統計的および機械学習問題で自然に発生する。 オンライン学習で最も広く使われている方法は確率的一階アルゴリズムである。 このうち、最近開発されたアルゴリズムであるRecursive One-Over-T SGD (ROOT-SGD)がある。 ROOT-SGDは非漸近的に速い速度で収束し、その推定器は正規分布にさらに収束する。 しかし、この正規分布は漸近共分散を持たないため、不確かさを測定するために直接適用することはできない。 このギャップを埋めるために, ROOT-SGDの漸近共分散に対する2つの推定器を開発した。 共分散推定器はROOT-SGDの統計的推定に有用である。 最初の推定者はプラグインのアイデアを採用しています。 漸近的共分散の式における未知の成分について、経験的相違と置換する。 プラグイン推定器は$\mathcal{o}(1/\sqrt{t})$で収束し、ここで$t$はサンプルサイズである。 素早く収束するにもかかわらず、プラグイン推定器は損失関数のヘシアンに依存する限界があり、場合によっては利用できないこともある。 2つ目の推定器は、前述の制限を克服するヘッセン自由推定器です。 ヘッセンフリー推定器はランダムスケーリング手法を用いており、真の共分散の漸近的に一貫した推定器であることを示す。

関連論文リスト

• Markov Chain Variance Estimation: A Stochastic Approximation Approach [14.883782513177094]
  マルコフ連鎖上で定義される関数の分散を推定する問題は、定常平均の統計的推測の重要なステップである。 我々は,各ステップで$O(1)$を必要とする新しい再帰的推定器を設計し,過去のサンプルやラン長の知識を一切必要とせず,証明可能な有限サンプル保証付き平均二乗誤差(MSE)に対する最適な$O(frac1n)の収束率を有する。
  論文  参考訳（メタデータ） (2024-09-09T15:42:28Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator [0.0]
  本稿では,凸問題の文脈における統計的推論のための勾配降下(SGD)の理論的性質について検討する。 多重誤差最小値を含む2つの干渉手順を提案する。
  論文  参考訳（メタデータ） (2023-06-03T22:08:10Z)
• Statistical Inference with Stochastic Gradient Methods under $\phi$-mixing Data [9.77185962310918]
  データが$phi$-mixingの場合の統計的推測のためのミニバッチSGD推定器を提案する。 信頼区間は、関連するミニバッチSGDプロシージャを用いて構成される。 提案手法はメモリ効率が高く,実装が容易である。
  論文  参考訳（メタデータ） (2023-02-24T16:16:43Z)
• Robust computation of optimal transport by $\beta$-potential regularization [79.24513412588745]
  最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。 我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。 提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
  論文  参考訳（メタデータ） (2022-12-26T18:37:28Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Statistical Inference for Model Parameters in Stochastic Gradient Descent [45.29532403359099]
  勾配降下係数(SGD)は,その計算効率とメモリ効率から,大規模データの統計的推定に広く用いられている。 人口減少関数が強い凸であり,一定の条件を満たす場合,SGDに基づく真のモデルパラメータの統計的推測の問題について検討する。
  論文  参考訳（メタデータ） (2016-10-27T07:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。