論文の概要: Multinomial Logistic Regression: Asymptotic Normality on Null Covariates
in High-Dimensions
- arxiv url: http://arxiv.org/abs/2305.17825v1
- Date: Sun, 28 May 2023 23:33:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 16:28:28.320958
- Title: Multinomial Logistic Regression: Asymptotic Normality on Null Covariates
in High-Dimensions
- Title(参考訳): 多項ロジスティック回帰:高次元におけるヌル共変量に対する漸近正規性
- Authors: Kai Tan and Pierre C. Bellec
- Abstract要約: 本稿では,次元と試料サイズが同一の高次元状態における多相ロジスティックモデルにおける最大線量推定(MLE)の分布について検討する。
- 参考スコア(独自算出の注目度): 11.69389391551085
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates the asymptotic distribution of the maximum-likelihood
estimate (MLE) in multinomial logistic models in the high-dimensional regime
where dimension and sample size are of the same order. While classical
large-sample theory provides asymptotic normality of the MLE under certain
conditions, such classical results are expected to fail in high-dimensions as
documented for the binary logistic case in the seminal work of Sur and Cand\`es
[2019]. We address this issue in classification problems with 3 or more
classes, by developing asymptotic normality and asymptotic chi-square results
for the multinomial logistic MLE (also known as cross-entropy minimizer) on
null covariates. Our theory leads to a new methodology to test the significance
of a given feature. Extensive simulation studies on synthetic data corroborate
these asymptotic results and confirm the validity of proposed p-values for
testing the significance of a given feature.
- Abstract(参考訳): 本稿では,次元と試料サイズが同じ順序の高次元状態における多相ロジスティックモデルにおける最大形推定(MLE)の漸近分布について検討する。
古典的大サンプル理論は、ある条件下で mle の漸近正規性を与えるが、そのような古典的結果は、sul と cand\`es [2019] の独創的著作における二元ロジスティックの場合で文書化された高次元で失敗することが期待される。
この問題は、3つ以上のクラスを持つ分類問題において、ヌル共変体上の多項ロジスティックMLE(クロスエントロピー最小化器)に対する漸近正規性および漸近カイ二乗結果を開発することで解決される。
私たちの理論は、ある特徴の重要性をテストする新しい方法論につながります。
合成データに関する広範囲なシミュレーション研究は、これらの漸近的な結果と、ある特徴の意義をテストするために提案されたp値の有効性を検証している。
関連論文リスト
- Finite-sample performance of the maximum likelihood estimator in logistic regression [3.7550827441501844]
本稿では,ロジスティック回帰に対する最大極大推定器(MLE)の予測性能について考察する。
我々は,MLEの存在と過剰なロジスティックリスクについて,急激な非漸近的保証を得る。
論文 参考訳(メタデータ) (2024-11-04T14:50:15Z) - Statistical Inference in Classification of High-dimensional Gaussian Mixture [1.2354076490479515]
高次元極限における正規化凸分類器の一般クラスの挙動について検討する。
我々の焦点は、推定器の一般化誤差と変数選択性である。
論文 参考訳(メタデータ) (2024-10-25T19:58:36Z) - Method-of-Moments Inference for GLMs and Doubly Robust Functionals under Proportional Asymptotics [30.324051162373973]
高次元一般化線形モデル(GLM)における回帰係数と信号対雑音比の推定について考察する。
我々は、推論対象の一貫性と漸近的正規性(CAN)推定を導出する。
理論的結果を数値実験と既存文献との比較で補完する。
論文 参考訳(メタデータ) (2024-08-12T12:43:30Z) - A non-asymptotic distributional theory of approximate message passing
for sparse and robust regression [20.830017611900832]
本稿では、近似メッセージパッシング(AMP)のための非漸近分布特性について述べる。
AMPは、高速な推定器と強力な理論機械の両方として有効であることを示す反復アルゴリズムのファミリーである。
論文 参考訳(メタデータ) (2024-01-08T14:34:35Z) - Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。
理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。
本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
論文 参考訳(メタデータ) (2022-10-12T06:46:38Z) - Off-policy estimation of linear functionals: Non-asymptotic theory for
semi-parametric efficiency [59.48096489854697]
観測データに基づいて線形汎関数を推定する問題は、因果推論と包帯文献の両方において標準的である。
このような手順の平均二乗誤差に対して非漸近上界を証明した。
非漸近的局所ミニマックス下限をマッチングすることにより、有限標本のインスタンス依存最適性を確立する。
論文 参考訳(メタデータ) (2022-09-26T23:50:55Z) - Double Descent in Random Feature Models: Precise Asymptotic Analysis for
General Convex Regularization [4.8900735721275055]
より広い凸正規化項のクラスの下で回帰の一般化を正確に表現する。
我々は,本フレームワークの予測能力を数値的に示すとともに,非漸近的状態においても予測されたテスト誤差が正確であることを実験的に示す。
論文 参考訳(メタデータ) (2022-04-06T08:59:38Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Learning Gaussian Mixtures with Generalised Linear Models: Precise
Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。
実験的リスク最小化による高次元推定器の精度を実証する。
合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文 参考訳(メタデータ) (2021-06-07T16:53:56Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。