論文の概要: Online Inference for Quantiles by Constant Learning-Rate Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2503.02178v1
• Date: Tue, 04 Mar 2025 01:37:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:24:40.741944
• Title: Online Inference for Quantiles by Constant Learning-Rate Stochastic Gradient Descent
• Title（参考訳）: 定常学習確率勾配による量子のオンライン推論
• Authors: Ziyang Wei, Jiaqi Li, Likai Chen, Wei Biao Wu,
• Abstract要約: 本稿では,理論的保証付き量子損失関数の学習速度を一定としたオンライン勾配勾配勾配推定法を提案する。 数値解析により,提案した量子推定器の強い有限サンプル性能と推定法が示された。
• 参考スコア（独自算出の注目度）: 4.2694059987063655
• License:
• Abstract: This paper proposes an online inference method of the stochastic gradient descent (SGD) with a constant learning rate for quantile loss functions with theoretical guarantees. Since the quantile loss function is neither smooth nor strongly convex, we view such SGD iterates as an irreducible and positive recurrent Markov chain. By leveraging this interpretation, we show the existence of a unique asymptotic stationary distribution, regardless of the arbitrarily fixed initialization. To characterize the exact form of this limiting distribution, we derive bounds for its moment generating function and tail probabilities, controlling over the first and second moments of SGD iterates. By these techniques, we prove that the stationary distribution converges to a Gaussian distribution as the constant learning rate $\eta\rightarrow0$. Our findings provide the first central limit theorem (CLT)-type theoretical guarantees for the last iterate of constant learning-rate SGD in non-smooth and non-strongly convex settings. We further propose a recursive algorithm to construct confidence intervals of SGD iterates in an online manner. Numerical studies demonstrate strong finite-sample performance of our proposed quantile estimator and inference method. The theoretical tools in this study are of independent interest to investigate general transition kernels in Markov chains.
• Abstract（参考訳）: 本稿では,理論的保証付き量子損失関数の学習速度を一定とした確率勾配降下(SGD)のオンライン推論手法を提案する。 量子化損失関数は滑らかでも強凸でもないので、そのようなSGDは既約かつ正の帰納的マルコフ連鎖として反復する。 この解釈を利用して、任意に固定された初期化にかかわらず、一意の漸近定常分布が存在することを示す。 この制限分布の正確な形式を特徴付けるために、そのモーメント生成関数とテール確率の境界を導出し、SGDの第1モーメントと第2モーメントを反復的に制御する。 これらの手法により、定常分布はガウス分布に収束し、一定の学習率$\eta\rightarrow0$として証明する。 本研究は,非平滑および非強凸条件下での学習速度SGDの最終反復に対する第1次中心極限定理(CLT)型理論保証を提供する。 さらに,SGDの信頼区間をオンラインで再現する再帰的アルゴリズムを提案する。 数値解析により,提案した量子推定器の強い有限サンプル性能と推定法が示された。 この研究の理論的ツールは、マルコフ連鎖の一般的な遷移核を研究するために独立した興味を持っている。

関連論文リスト

• Uncertainty quantification for Markov chains with application to temporal difference learning [63.49764856675643]
  マルコフ連鎖のベクトル値および行列値関数に対する新しい高次元濃度不等式とベリー・エッシー境界を開発する。 我々は、強化学習における政策評価に広く用いられているTD学習アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2025-02-19T15:33:55Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Asymptotics of Stochastic Gradient Descent with Dropout Regularization in Linear Models [8.555650549124818]
  本稿では,線形回帰における勾配勾配勾配(SGD)のオンライン推論とドロップアウト正規化を反復する理論を提案する。 十分に大きなサンプルの場合,ASGDの投棄による信頼区間は,名目カバレッジの確率をほぼ達成している。
  論文  参考訳（メタデータ） (2024-09-11T17:28:38Z)
• Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution [6.144680854063938]
  本研究では,その収束特性を明らかにするために,ランダムな学習率を持つ勾配降下(SGD)の変種を考察する。 ポアソンSGDによって更新されたパラメータの分布は、弱い仮定の下で定常分布に収束することを示した。
  論文  参考訳（メタデータ） (2024-06-23T06:52:33Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Almost-sure convergence of iterates and multipliers in stochastic sequential quadratic optimization [21.022322975077653]
  等式制約付き連続最適化問題の解法が近年注目されている。 収束保証は、ゼロを測定するための勾配の期待値に制限されている。 また,SQPアルゴリズムにより生成した予備値,ラグランジュ測度,ステーション測度に対する新たなほぼ収束保証を証明した。
  論文  参考訳（メタデータ） (2023-08-07T16:03:40Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance [0.0]
  本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。 この回避は、非自明な常微分方程式のノイズ離散化として研究される。
  論文  参考訳（メタデータ） (2020-12-07T19:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。