論文の概要: Minimax Optimal Estimator and Improved Error Rate for the MLE in Logistic Regression with Gaussian Design

• arxiv url: http://arxiv.org/abs/2608.17260v1
• Date: Tue, 18 Aug 2026 01:35:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.179089
• Title: Minimax Optimal Estimator and Improved Error Rate for the MLE in Logistic Regression with Gaussian Design
• Title（参考訳）: ガウス設計によるロジスティック回帰における最小推定器とMLEの誤差率の改善
• Abstract要約: 最大極大推定器 (MLE) に対する最小極小推定器(英語版)を提供し、最もよく知られた有限サンプル誤差率を改善する。 我々は、MLEの誤差率$O(sqrtR3/n)$と本質的な有限サンプル誤差率$tildeO(sqrtR3/n+sqrtR3/n)$を達成する効率的な非バイアスノルム推定器を構築する。
• 参考スコア（独自算出の注目度）: 28.74829605004241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study finite-sample parameter estimation in logistic regression with Gaussian design, where the goal is to estimate $\mathbfθ^*\in \mathbb{R}^d$ with $R=\|\mathbfθ^*\|_2\ge 1$ from i.i.d. samples $\{(\mathbf{x}_i,y_i)\}_{i=1}^n,$ $\mathbf{x}_i \sim N(0,\mathbf{I}_d)$, $y_i\mid \mathbf{x}_i \sim \mathrm{Bernoulli}((1+\exp(-\mathbf{x}_i^\top \mathbfθ^*))^{-1})$. In this paper, we provide the first minimax optimal estimator, and improve on the best known finite-sample error rate for the maximum likelihood estimator (MLE). These two accomplishments are due to a minimax optimal estimator for the parameter norm $R$. First, we establish the minimax lower bound $Ω(\sqrt{R^3/n})$ for norm estimation. We then improve the best known norm estimation error rate of the MLE, i.e., $O(\sqrt{R^3d/n})$ from Chardon, Lerasle and Mourtada (2024), to $\tilde{O}(\sqrt{R^3/n}+R^2d/n)$. The additional term, $R^2d/n$, appears to be the intrinsic bias of the MLE, as evidenced by the high-dimensional asymptotic theory of Zhao, Sur and Candes (2022) and numerical examples. We show that, however, this additional term is not information-theoretically necessary. To this end, we construct an efficient debiased norm estimator that achieves the error rate $O(\sqrt{R^3/n})$ and is therefore minimax optimal. Combining this with the optimal direction estimator given by the MLE, we establish the minimax optimal rate $Θ(\sqrt{Rd/n}+\sqrt{R^3/n})$ for estimating $\mathbfθ^*$, as well as the improved finite-sample error rate $\tilde{O}(\sqrt{Rd/n}+\sqrt{R^3/n}+R^2d/n)$ for the MLE. Numerical experiments demonstrate that the proposed minimax optimal estimators outperform the MLE.
• Abstract（参考訳）: ガウス設計によるロジスティック回帰における有限サンプルパラメータ推定について検討し、目的は$R=\|\mathbfθ^*\|_2\ge 1$ from $\{(\mathbf{x}_i,y_i)\}_{i=1}^n,$$\mathbf{x}_i \sim N(0,\mathbf{I}_d)$,$y_i\mid \mathbf{x}_i \sim \mathrm{Bernoulli}((1+\exp(-\mathbf{x}_i\top \mathbf{*)^{-1}$である。 本稿では,最大極大推定器 (MLE) の最大有限サンプル誤差率を改善するため,第1次ミニマックス最適推定器を提案する。 これらの2つの成果は、パラメータノルム$R$のミニマックス最適推定器によるものである。 まず、ノルム推定のためにミニマックス下界$Ω(\sqrt{R^3/n})$を確立する。 次に、MLEの最もよく知られたノルム推定誤差、すなわち$O(\sqrt{R^3d/n})$をChardon, Lerasle and Mourtada (2024)から$\tilde{O}(\sqrt{R^3/n}+R^2d/n)$に改善する。 追加用語である$R^2d/n$は、Zhao, Sur and Candes (2022) の高次元漸近理論や数値例によって証明されているように、MLEの本質的なバイアスである。 しかし、この追加用語は情報理論上必要ではない。 この目的のために、誤り率$O(\sqrt{R^3/n})$を達成し、従って最小限最適となる効率的な偏り付きノルム推定器を構築する。 これを MLE が与える最適方向推定器と組み合わせることで、MLE の最小値の最適値の値として、$(\sqrt{Rd/n}+\sqrt{R^3/n})$、改良された有限サンプル誤差率 $\tilde{O}(\sqrt{Rd/n}+\sqrt{R^3/n}+R^2d/n)$ を推定する。 数値実験により,提案した最小推定器はMLEより優れていることが示された。

関連論文リスト

• Simple-regret rates and minimax optimality of fixed-prior expected improvement in Matérn and squared-exponential RKHSs [0.0]
  非空コンパクト集合 $mathcal X の部分集合 Rd$ 上で、決定論的目的関数 $f$ を最小化するための期待された改善 (EI) ポリシーについて検討する。
  論文  参考訳（メタデータ） (2026-07-31T10:18:54Z)
• Finite-Sample Performance of Gradient Descent in Logistic Regression with Gaussian Design [28.74829605004241]
  我々は、最大極大目標(ロジスティック損失)に基づいて、勾配降下(GD)の有限サンプル推定性能と収束挙動を特徴付ける。 GD は、$*$の小さな近傍に線型収束し、$O(sqrt|*|5d/n)$の$ell$誤差を達成することを示す。 また、大きな$(|*|_2)$段数の下で同じ統計誤差に対するより高速な局所線型収束を確立する。
  論文  参考訳（メタデータ） (2026-06-19T18:43:41Z)
• Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition [50.36362492608702]
  乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。 我々は、閉形式の最適点密度 [ star(u) propto exp!left(-fracu26right)bigl( (1-2)+2u22bigr), qquad u=fracx_X を求め、相関駆動相転移を証明した。
  論文  参考訳（メタデータ） (2026-03-20T01:53:44Z)
• Asymptotically optimal unitary estimation in $\mathrm{SU}(3)$ by the analysis of graph Laplacian [0.0]
  ユニタリ推定は、未知のユニタリ演算子$UinmathrmSU(d)$と対応するユニタリ演算に対する$n$クエリを推定するタスクである。 三次元ユニタリ推定の最適忠実度は、グラフラプラシアン解析により、$F_mathrmest(n,d) = 1-frac56pi29n2 + O(n-3)$で与えられる。
  論文  参考訳（メタデータ） (2025-09-24T23:02:33Z)
• Active Subsampling for Measurement-Constrained M-Estimation of Individualized Thresholds with High-Dimensional Data [3.1138411427556445]
  測定制約のある問題では、大きなデータセットが利用可能であるにもかかわらず、大きなデータセットのごく一部でラベルを観測するのに手頃な価格にしかならない。 このことは、どのデータポイントが予算制約のあるラベルに最も有益であるかという重要な疑問を引き起こします。 本稿では,測定制約付きM推定フレームワークにおける最適個別化しきい値の推定に焦点をあてる。
  論文  参考訳（メタデータ） (2024-11-21T00:21:17Z)
• Obtaining Lower Query Complexities through Lightweight Zeroth-Order Proximal Gradient Algorithms [65.42376001308064]
  複素勾配問題に対する2つの分散化ZO推定器を提案する。 我々は、現在最先端の機能複雑性を$mathcalOleft(minfracdn1/2epsilon2, fracdepsilon3right)$から$tildecalOleft(fracdepsilon2right)$に改善する。
  論文  参考訳（メタデータ） (2024-10-03T15:04:01Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Minimax Optimal Regression over Sobolev Spaces via Laplacian Eigenmaps on Neighborhood Graphs [25.597646488273558]
  ラプラシアン固有写像(PCR-LE)を用いた主成分回帰の統計的性質について検討する。 PCR-LEは、近傍グラフラプラシアンの特定の固有ベクトルによって分散された部分空間に観測された応答のベクトルを投影することで機能する。 PCR-LEはソボレフ空間上のランダムな設計回帰に対して最小収束率を達成することを示す。
  論文  参考訳（メタデータ） (2021-11-14T17:32:51Z)
• Provably Breaking the Quadratic Error Compounding Barrier in Imitation Learning, Optimally [58.463668865380946]
  状態空間 $mathcalS$ を用いたエピソードマルコフ決定過程 (MDPs) における模擬学習の統計的限界について検討する。 rajaraman et al (2020) におけるmdアルゴリズムを用いた準最適性に対する上限 $o(|mathcals|h3/2/n)$ を定式化する。 Omega(H3/2/N)$ $mathcalS|geq 3$ であるのに対して、未知の遷移条件はよりシャープレートに悩まされる。
  論文  参考訳（メタデータ） (2021-02-25T15:50:19Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes [91.38793800392108]
  本稿では,マルコフ決定過程(MDP)の遷移確率核が線形混合モデルである線形関数近似による強化学習について検討する。 上記の線形混合 MDP に対して$textUCRL-VTR+$ という線形関数近似を用いた計算効率の良い新しいアルゴリズムを提案する。 我々の知る限り、これらは線形関数近似を持つRLのための計算効率が良く、ほぼ最小のアルゴリズムである。
  論文  参考訳（メタデータ） (2020-12-15T18:56:46Z)
• Optimal Mean Estimation without a Variance [103.26777953032537]
  本研究では,データ生成分布の分散が存在しない環境での重み付き平均推定問題について検討する。 最小の信頼区間を$n,d,delta$の関数として得る推定器を設計する。
  論文  参考訳（メタデータ） (2020-11-24T22:39:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。