論文の概要: Statistical Inference with Stochastic Gradient Methods under $\phi$-mixing Data

• arxiv url: http://arxiv.org/abs/2302.12717v2
• Date: Tue, 28 Mar 2023 14:35:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 18:31:55.390136
• Title: Statistical Inference with Stochastic Gradient Methods under $\phi$-mixing Data
• Title（参考訳）: $\phi$-mixingデータに基づく確率勾配法による統計的推測
• Authors: Ruiqi Liu, Xi Chen, Zuofeng Shang
• Abstract要約: データが$phi$-mixingの場合の統計的推測のためのミニバッチSGD推定器を提案する。 信頼区間は、関連するミニバッチSGDプロシージャを用いて構成される。 提案手法はメモリ効率が高く,実装が容易である。
• 参考スコア（独自算出の注目度）: 9.77185962310918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent (SGD) is a scalable and memory-efficient optimization algorithm for large datasets and stream data, which has drawn a great deal of attention and popularity. The applications of SGD-based estimators to statistical inference such as interval estimation have also achieved great success. However, most of the related works are based on i.i.d. observations or Markov chains. When the observations come from a mixing time series, how to conduct valid statistical inference remains unexplored. As a matter of fact, the general correlation among observations imposes a challenge on interval estimation. Most existing methods may ignore this correlation and lead to invalid confidence intervals. In this paper, we propose a mini-batch SGD estimator for statistical inference when the data is $\phi$-mixing. The confidence intervals are constructed using an associated mini-batch bootstrap SGD procedure. Using ``independent block'' trick from \cite{yu1994rates}, we show that the proposed estimator is asymptotically normal, and its limiting distribution can be effectively approximated by the bootstrap procedure. The proposed method is memory-efficient and easy to implement in practice. Simulation studies on synthetic data and an application to a real-world dataset confirm our theory.
• Abstract（参考訳）: 確率勾配降下(sgd)は大規模データセットとストリームデータに対するスケーラブルでメモリ効率のよい最適化アルゴリズムであり、多くの注目と人気を集めている。 間隔推定などの統計的推測へのSGDに基づく推定法の応用も大きな成功を収めた。 しかし、関連する研究の多くは、i.d.観測やマルコフ連鎖に基づいている。 観測が混合時系列から来るとき、妥当な統計推論の方法はまだ未定である。 実のところ、観測間の一般的な相関は、間隔推定に課題を課している。 既存の手法はこの相関を無視し、不確実な信頼区間につながる。 本稿では,データが$\phi$-mixingの場合の統計的推測のためのミニバッチSGD推定器を提案する。 信頼区間は、関連するミニバッチブートストラップSGD手順を用いて構成される。 そこで, \cite{yu1994rates} の `independent block'' トリックを用いて,提案する推定器は漸近的に正規であり,その制限分布はブートストラップ法によって効果的に近似できることを示す。 提案手法はメモリ効率が高く,実装が容易である。 合成データに関するシミュレーション研究と実世界のデータセットへの応用により,この理論が裏付けられる。

関連論文リスト

• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Overlapping Batch Confidence Intervals on Statistical Functionals Constructed from Time Series: Application to Quantiles, Optimization, and Estimation [5.068678962285631]
  定常時系列データを用いて構築した統計関数に対する信頼区間手順を提案する。 OBx制限は、バッチのサイズと重複の程度によってパラメータ化されたWienerプロセスの特定の機能であり、依存を特徴づけるための必須の機械を形成する。
  論文  参考訳（メタデータ） (2023-07-17T16:21:48Z)
• Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator [0.0]
  本稿では,凸問題の文脈における統計的推論のための勾配降下(SGD)の理論的性質について検討する。 多重誤差最小値を含む2つの干渉手順を提案する。
  論文  参考訳（メタデータ） (2023-06-03T22:08:10Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Distributed Learning of Finite Gaussian Mixtures [21.652015112462]
  有限ガウス混合系の分散学習における分割・対数アプローチについて検討する。 新しい推定器は整合性を示し、いくつかの一般的な条件下ではルート-nの整合性を保持する。 シミュレーションおよび実世界のデータに基づく実験により、提案手法はグローバル推定器と同等の統計的性能を有することが示された。
  論文  参考訳（メタデータ） (2020-10-20T16:17:47Z)
• Minimax Quasi-Bayesian estimation in sparse canonical correlation analysis via a Rayleigh quotient function [1.0878040851638]
  スパース標準ベクトルに対する既存の速度-最適推定器は計算コストが高い。 本稿では,最小推定率を達成する準ベイズ推定手法を提案する。 提案手法を用いて臨床変数とプロテオミクスデータを最大に相関させ,Covid-19 病の理解を深める。
  論文  参考訳（メタデータ） (2020-10-16T21:00:57Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• Statistical Inference for Model Parameters in Stochastic Gradient Descent [45.29532403359099]
  勾配降下係数(SGD)は,その計算効率とメモリ効率から,大規模データの統計的推定に広く用いられている。 人口減少関数が強い凸であり,一定の条件を満たす場合,SGDに基づく真のモデルパラメータの統計的推測の問題について検討する。
  論文  参考訳（メタデータ） (2016-10-27T07:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。