論文の概要: Finite-Sample Performance of Gradient Descent in Logistic Regression with Gaussian Design
- arxiv url: http://arxiv.org/abs/2606.21683v1
- Date: Fri, 19 Jun 2026 18:43:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 04:02:54.629973
- Title: Finite-Sample Performance of Gradient Descent in Logistic Regression with Gaussian Design
- Title（参考訳）: ガウス設計によるロジスティック回帰におけるグラディエントDescentの有限サンプル特性
- Authors: Junren Chen, Arya Mazumdar,
- Abstract要約: 我々は、最大極大目標(ロジスティック損失)に基づいて、勾配降下(GD)の有限サンプル推定性能と収束挙動を特徴付ける。
GD は、$*$の小さな近傍に線型収束し、$O(sqrt|*|5d/n)$の$ell$誤差を達成することを示す。
また、大きな$(|*|_2)$段数の下で同じ統計誤差に対するより高速な局所線型収束を確立する。
- 参考スコア（独自算出の注目度）: 28.74829605004241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the parameter estimation problem in logistic regression with Gaussian design: the estimation of a fixed unknown parameter $θ^*\in \mathbb{R}^d$ ($\|θ^*\|_2\ge 1$) from $n$ i.i.d. samples $\{(x_i,y_i)\}_{i=1}^n$, where $x_i\sim N(0,I_d)$ and $y_i|x_i \sim {\rm Bernoulli}(1/(1+\exp(-x_i^\top θ^*)))$. Our main aim is to characterize the finite-sample estimation performance and convergence behavior of gradient descent (GD) on the maximum likelihood objective (i.e., the logistic loss). Under small $O(1)$ stepsize and $0$ initialization, we show that GD linearly converges to a small neighborhood of $θ^*$ achieving an $\ell_2$ error of order $O(\sqrt{\|θ^*\|_2^5d/n})$. This substantially goes beyond existing theoretical results that lack non-asymptotic estimation error rate and exhibit much slower parameter convergence. We also establish a faster local linear convergence to the same statistical error under a large $Θ(\|θ^*\|_2)$ stepsize. The main technical component is to show that the gradient of the logistic loss satisfies a certain approximate invertibility condition (AIC). To that end, we uniformly control the deviation of the gradient from its population counterpart by covering and peeling arguments, and then show that the population GD is a contraction by a delicate analysis based on the eigenvalues of population Hessian matrices. Finally, we build upon the recent work Matsumoto and Mazumdar (2025) and devise a novel efficient estimator that attains a sharper rate in high dimensions. This indicates that the existing non-asymptotic guarantees exhibit sub-optimal dependence on $\|θ^*\|_2$, and that in many regimes $Θ(\sqrt{\|θ^*\|_2d/n})$ is the tight estimation error rate. Numerical examples are provided to corroborate our theoretical results.
- Abstract（参考訳）: 固定未知パラメータ $θ^*\in \mathbb{R}^d$$$\|θ^*\|_2\ge 1$) from $n$ i.d.d. sample $\{(x_i,y_i)\}_{i=1}^n$, where $x_i\sim N(0,I_d)$ and $y_i|x_i \sim {\rm Bernoulli}(1/(1+\exp(-x_i^\top θ^*)))$。
本研究の目的は,最大極大目標(ロジスティック損失)に基づいて,勾配降下(GD)の有限サンプル推定性能と収束挙動を特徴づけることである。
小さな$O(1)$段数と$0$初期化の下で、GDは$θ^*$の小さな近傍に収束し、$O(\sqrt{\|θ^*\|_2^5d/n})$の$\ell_2$誤差を達成することを示す。
これは、非漸近的推定誤差率に欠け、パラメータ収束がはるかに遅い既存の理論結果を超える。
また、同じ統計誤差に対するより高速な局所線型収束を、大きな$ ^(\|θ^*\|_2)$ 段数の下で確立する。
主な技術的要素は、ロジスティック損失の勾配が、ある近似的可逆性条件(AIC)を満たすことを示すことである。
そこで,本研究では,群集の偏差を群集から一様に制御し,群集GDがヘッセン行列の固有値に基づく微妙な解析による縮退であることを示す。
最後に,近年の松本とマズムダル(2025年)を基盤として,高次元でよりシャープな速度となる新しい効率的な推定器を考案する。
このことは、既存の非漸近的保証が$\|θ^*\|_2$に準最適依存を示すことを示し、多くのレジームにおいて$\(\sqrt{\|θ^*\|_2d/n})$が厳密な推定誤差率であることを示している。
理論的結果を裏付ける数値的な例が提供される。
関連論文リスト
- Bivariate Matrix-valued Linear Regression (BMLR): Finite-sample performance under Identifiability and Sparsity Assumptions [0.0]
行列値線形回帰モデルでは, mathbbRn×p$の$T$応答$(Y_t)_t=1Tと, mathbbRm×q$の予測子$(X_t)_t=1Tを推定する。
最適化のない明示的な推定器を提案し、その性能を定量化するために非漸近収束率を確立する。
論文 参考訳（メタデータ） (2024-12-23T18:03:34Z) - Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。
我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。
我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
論文 参考訳（メタデータ） (2024-11-20T02:46:15Z) - Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - Sparse Max-Affine Regression [8.338559499737135]
本稿では,凸片方向線形回帰における変数選択の解としてスパース勾配を提案する。
準ガウス雑音下でのSp-GDの非漸近局所収束解析を行う。
スパース一般化をスパースマックスアフィンモデルに変換するために、Real Maslov Dequantization (RMD) と呼ばれる新しい変換を提案する。
論文 参考訳（メタデータ） (2024-11-04T16:19:09Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Consistent Estimation for PCA and Sparse Regression with Oblivious
Outliers [13.244654316770815]
我々は効率よく計算可能で一貫した推定器を設計する機械を開発する。
スパース回帰では、最適なサンプルサイズ$ngsim (klog d)/alpha2$の整合性を達成する。
PCAの文脈では、パラメータ行列上の広いスパイキネス仮定の下で最適な誤差を保証する。
論文 参考訳（メタデータ） (2021-11-04T15:59:44Z) - AI without networks [0.0]
我々は、生成モデリングを取り入れたAIのためのネットワークフリーフレームワークを開発する。
我々は、この枠組みを、民族学、制御理論、数学の3つの異なる分野の例で示す。
また、生成AIによる倫理的法的課題に対処するために、この枠組みに基づいて容易に計算された信用割当手法を提案する。
論文 参考訳（メタデータ） (2021-06-07T05:50:02Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z) - Differentially Quantized Gradient Methods [53.3186247068836]
微分量子化グラディエントDescence (DQ-GD) が$maxsigma_mathrmGD, rhon 2-R$の線形収縮係数を得ることを示す。
あるクラス内のアルゴリズムは$maxsigma_mathrmGD, 2-R$よりも早く収束できない。
論文 参考訳（メタデータ） (2020-02-06T20:40:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。