Fugu-MT 論文翻訳(概要): Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction

論文の概要: Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction

arxiv url: http://arxiv.org/abs/2604.21203v1
Date: Thu, 23 Apr 2026 01:48:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-24 14:40:06.237543
Title: Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction
Title（参考訳）: バイアス低減による確率勾配勾配の精製共分散行列の推定
Authors: Ziyang Wei, Wanrong Zhu, Jingyang Lyu, Wei Biao Wu,
Abstract要約: 勾配降下(SGD)アルゴリズムのオンライン推論と共分散推定について検討する。提案手法は,既存のヘッセン自由代替品よりも優れた収差率$n(-1)/2 sqrtlog n$を達成するために,バイアス低減手法を用いている。
参考スコア（独自算出の注目度）: 9.294518380204154
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study online inference and asymptotic covariance estimation for the stochastic gradient descent (SGD) algorithm. While classical methods (such as plug-in and batch-means estimators) are available, they either require inaccessible second-order (Hessian) information or suffer from slow convergence. To address these challenges, we propose a novel, fully online de-biased covariance estimator that eliminates the need for second-order derivatives while significantly improving estimation accuracy. Our method employs a bias-reduction technique to achieve a convergence rate of $n^{(α-1)/2} \sqrt{\log n}$, outperforming existing Hessian-free alternatives.
Abstract（参考訳）: 確率勾配勾配(SGD)アルゴリズムのオンライン推論と漸近共分散推定について検討した。古典的な方法(プラグインやバッチ平均推定器など)は利用可能であるが、アクセス不能な2次(ヘッセン)情報を必要とするか、収束が遅い。これらの課題に対処するために,2次導関数の必要性を排除し,推定精度を大幅に向上させる,完全オンライン非偏差共分散推定器を提案する。提案手法では,既存のヘッセンフリーな代替品よりも優れた$n^{(α-1)/2} \sqrt{\log n}$の収束率を達成するために,バイアス低減手法を用いている。

関連論文リスト

Unbiased and Biased Variance-Reduced Forward-Reflected-Backward Splitting Methods for Stochastic Composite Inclusions [3.6997773420183866]
本研究では,フォワード反射逆スプリッティング法(FRBS)のための新しい分散還元法を開発した。ミニバッチのような偏見のない推定器とは異なり、偏見のある変種の開発は基本的な技術的課題に直面している。ループレスSVRGやSAGAを利用する場合,$mathcalO(n2/3-2)$と$mathcalO(-10/3)$が最良であることを示す。
論文参考訳（メタデータ） (2026-03-16T17:39:25Z)
Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文参考訳（メタデータ） (2025-10-22T19:06:39Z)
On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文参考訳（メタデータ） (2025-10-22T18:25:43Z)
VFOG: Variance-Reduced Fast Optimistic Gradient Methods for a Class of Nonmonotone Generalized Equations [3.6997773420183866]
我々は,Nesterovの加速度と分散還元技術を組み合わせた,新しい楽観的勾配型アルゴリズムフレームワークを開発した。この手法はリプシッツ連続性の下で残余の平方ノルムを期待して$mathcalO (1/k2)$収束率を達成することを示す。提案手法の反復列は根本問題の解にほぼ確実に収束することを示す。
論文参考訳（メタデータ） (2025-08-22T20:46:29Z)
Variance-Reduced Fast Operator Splitting Methods for Generalized Equations [8.0153031008486]
一般化方程式のクラスの解を近似する2つの分散還元高速演算子分割法を開発した。提案手法は, 加速演算子分割法, 固定点法, 共高調波性, 分散低減の最近の進歩を取り入れたものである。
論文参考訳（メタデータ） (2025-04-17T16:02:20Z)
TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文参考訳（メタデータ） (2023-10-29T09:54:03Z)
Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
論文参考訳（メタデータ） (2023-10-21T00:03:54Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文参考訳（メタデータ） (2020-08-28T14:46:56Z)
Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。