論文の概要: On the sample complexity of parameter estimation in logistic regression with normal design

• arxiv url: http://arxiv.org/abs/2307.04191v3
• Date: Mon, 20 May 2024 16:29:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 00:50:05.778564
• Title: On the sample complexity of parameter estimation in logistic regression with normal design
• Title（参考訳）: 正規設計によるロジスティック回帰におけるパラメータ推定のサンプル複雑性について
• Authors: Daniel Hsu, Arya Mazumdar,
• Abstract要約: 本稿では,ロジスティック回帰モデルのパラメータを与えられた$ell$エラーまで推定するサンプル複雑性について検討する。 試料の複雑性曲線は逆温度の点で2つの変化点を持ち, 低温, 中温, 高温状態を明確に分離することを示した。
• 参考スコア（独自算出の注目度）: 26.084750075612458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The logistic regression model is one of the most popular data generation model in noisy binary classification problems. In this work, we study the sample complexity of estimating the parameters of the logistic regression model up to a given $\ell_2$ error, in terms of the dimension and the inverse temperature, with standard normal covariates. The inverse temperature controls the signal-to-noise ratio of the data generation process. While both generalization bounds and asymptotic performance of the maximum-likelihood estimator for logistic regression are well-studied, the non-asymptotic sample complexity that shows the dependence on error and the inverse temperature for parameter estimation is absent from previous analyses. We show that the sample complexity curve has two change-points in terms of the inverse temperature, clearly separating the low, moderate, and high temperature regimes.
• Abstract（参考訳）: ロジスティック回帰モデルは、ノイズの多いバイナリ分類問題において最も一般的なデータ生成モデルの一つである。 本研究では,ロジスティック回帰モデルのパラメータを与えられた$\ell_2$誤差まで推定するサンプルの複雑さを,標準正規共変量を用いて,次元と逆温度の観点から検討する。 逆温度は、データ生成プロセスの信号対雑音比を制御する。 対数回帰のための最大線量推定器の一般化境界と漸近性能はよく研究されているが, 誤差依存性を示す非漸近サンプルの複雑さとパラメータ推定のための逆温度は, これまでの分析では欠落している。 試料の複雑性曲線は逆温度の点で2つの変化点を持ち, 低温, 中温, 高温状態を明確に分離することを示した。

関連論文リスト

• A Provably Accurate Randomized Sampling Algorithm for Logistic Regression [2.7930955543692817]
  本稿では,ロジスティック回帰問題に対する単純なランダム化サンプリングに基づくアルゴリズムを提案する。 正確な近似は、観測総数よりもはるかに小さい試料で達成できることを示す。 概して、ロジスティック回帰における推定確率を効率的に近似するためにランダム化サンプリング手法を用いる可能性に光を当てている。
  論文  参考訳（メタデータ） (2024-02-26T06:20:28Z)
• A Unified Approach to Learning Ising Models: Beyond Independence and Bounded Width [7.605563562103568]
  我々はIsingモデルの基本パラメータをデータから効率的に学習する問題を再考する。 ノード単位のロジスティック回帰に基づく単純な既存手法が、いくつかの新しい設定で基盤モデルの回復に成功していることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:41:19Z)
• Understanding Pathologies of Deep Heteroskedastic Regression [25.509884677111344]
  ヘテロスケダスティックモデルは各データポイントの平均ノイズと残留ノイズの両方を予測する。 極端に言えば、これらのモデルはすべてのトレーニングデータを完璧に適合させ、残音を完全に排除する。 他方では、一定で非形式的な平均を予測しながら残音を過度に補正する。 中間地盤の欠如を観察し, モデル正則化強度に依存する相転移を示唆した。
  論文  参考訳（メタデータ） (2023-06-29T06:31:27Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Adaptive LASSO estimation for functional hidden dynamic geostatistical model [69.10717733870575]
  関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。 このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
  論文  参考訳（メタデータ） (2022-08-10T19:17:45Z)
• Modeling High-Dimensional Data with Unknown Cut Points: A Fusion Penalized Logistic Threshold Regression [2.520538806201793]
  従来のロジスティック回帰モデルでは、リンク関数は線形で連続であると見なされることが多い。 我々は、全ての連続した特徴が順序レベルに離散化され、さらにバイナリ応答が決定されるしきい値モデルを考える。 糖尿病のような慢性疾患の早期発見と予知の問題において,ラッソモデルが好適であることが判明した。
  論文  参考訳（メタデータ） (2022-02-17T04:16:40Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Two-step penalised logistic regression for multi-omic data with an application to cardiometabolic syndrome [62.997667081978825]
  我々は,各層で変数選択を行うマルチオミックロジスティック回帰に対する2段階のアプローチを実装した。 私たちのアプローチは、可能な限り多くの関連する予測子を選択することを目標とすべきです。 提案手法により,分子レベルでの心筋メタボリックシンドロームの特徴を同定することができる。
  論文  参考訳（メタデータ） (2020-08-01T10:36:27Z)
• Asymptotics of Ridge (less) Regression under General Source Condition [26.618200633139256]
  我々は,真の回帰パラメータの構造が果たす役割を考察する。 有界信号-雑音比(SNR)においても(正規化なし)が最適であることを示す。 これは、リッジ回帰を考慮した以前の研究と対照的であり、この場合、無限 SNR の極限においてのみ最適である。
  論文  参考訳（メタデータ） (2020-06-11T13:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。