論文の概要: HiGrad: Uncertainty Quantification for Online Learning and Stochastic Approximation

• arxiv url: http://arxiv.org/abs/1802.04876v3
• Date: Wed, 05 Mar 2025 18:34:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-09 15:36:06.357806
• Title: HiGrad: Uncertainty Quantification for Online Learning and Stochastic Approximation
• Title（参考訳）: HiGrad: オンライン学習と確率近似のための不確実性定量化
• Authors: Weijie J. Su, Yuancheng Zhu,
• Abstract要約: 勾配降下(SGD)は、ストリームやデータサイズが非常に大きい設定において、オンライン学習において非常に一般的なアプローチである。 本稿では,オンライン学習のための統計的推論を行う手法として,HiGradを提案する。 メソッドを実装するためにRパッケージの texttthigrad が開発された。
• 参考スコア（独自算出の注目度）: 27.77529637229548
• License:
• Abstract: Stochastic gradient descent (SGD) is an immensely popular approach for online learning in settings where data arrives in a stream or data sizes are very large. However, despite an ever-increasing volume of work on SGD, much less is known about the statistical inferential properties of SGD-based predictions. Taking a fully inferential viewpoint, this paper introduces a novel procedure termed HiGrad to conduct statistical inference for online learning, without incurring additional computational cost compared with SGD. The HiGrad procedure begins by performing SGD updates for a while and then splits the single thread into several threads, and this procedure hierarchically operates in this fashion along each thread. With predictions provided by multiple threads in place, a $t$-based confidence interval is constructed by decorrelating predictions using covariance structures given by a Donsker-style extension of the Ruppert--Polyak averaging scheme, which is a technical contribution of independent interest. Under certain regularity conditions, the HiGrad confidence interval is shown to attain asymptotically exact coverage probability. Finally, the performance of HiGrad is evaluated through extensive simulation studies and a real data example. An R package \texttt{higrad} has been developed to implement the method.
• Abstract（参考訳）: 確率勾配勾配(SGD)は、ストリームやデータサイズが非常に大きい設定において、オンライン学習において非常に一般的なアプローチである。 しかし、SGDに関する研究が絶え間なく増えているにもかかわらず、SGDに基づく予測の統計的推論特性についてはあまり知られていない。 本稿では,オンライン学習のための統計的推論を行うHiGradという手法を,SGDと比較して計算コストを増大させることなく導入する。 HiGradプロシージャは、しばらくSGD更新を実行し、単一のスレッドを複数のスレッドに分割することで開始される。 複数のスレッドによって提供される予測により、Rupert-Polyak平均化スキームのドンスカー型拡張によって与えられる共分散構造を用いて予測をデコレーションすることで、$t$ベースの信頼区間を構築する。 一定の規則性条件下では、HiGradの信頼区間は漸近的に正確なカバレッジ確率が得られる。 最後に、HiGradの性能を広範囲なシミュレーション研究と実データ例を通して評価する。 R パッケージ \texttt{higrad} がメソッドを実装するために開発された。

関連論文リスト

• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
  The consistency properties of TD learning with Polyak-Ruppert averaging and linear function approximation。 まず、分散に明示的に依存し、弱い条件下で保持する新しい高次元確率収束保証を導出する。 さらに、文献よりも高速な速度を保証する凸集合のクラスに対して、洗練された高次元ベリー-エッセイン境界を確立する。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Statistical Inference with Stochastic Gradient Methods under $\phi$-mixing Data [9.77185962310918]
  データが$phi$-mixingの場合の統計的推測のためのミニバッチSGD推定器を提案する。 信頼区間は、関連するミニバッチSGDプロシージャを用いて構成される。 提案手法はメモリ効率が高く,実装が容易である。
  論文  参考訳（メタデータ） (2023-02-24T16:16:43Z)
• Statistical Inference for Linear Functionals of Online SGD in High-dimensional Linear Regression [14.521929085104441]
  オンライン勾配勾配(SGD)の線形関数に対する高次元中央極限定理(CLT)を確立する。 我々は、CLTに現れる予測と分散項を推定するオンライン手法を開発し、開発したオンライン推定器の高確率境界を確立する。 我々は、CLT結果と分散推定結果とともに、信頼区間を数値的に構築する完全オンラインおよびデータ駆動の方法として、2段階の完全オンラインバイアス補正手法を提案する。
  論文  参考訳（メタデータ） (2023-02-20T02:38:36Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Online Covariance Matrix Estimation in Stochastic Gradient Descent [10.153224593032677]
  勾配降下(SGD)は,特に大規模データセットやオンライン学習においてパラメータ推定に広く用いられている。 本稿では,オンライン環境でのSGDに基づく推定値の統計的推測を定量化することを目的とする。
  論文  参考訳（メタデータ） (2020-02-10T17:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。