論文の概要: Exponential Family Discriminant Analysis: Generalizing LDA-Style Generative Classification to Non-Gaussian Models

• arxiv url: http://arxiv.org/abs/2603.20655v2
• Date: Tue, 24 Mar 2026 00:40:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 12:42:17.589753
• Title: Exponential Family Discriminant Analysis: Generalizing LDA-Style Generative Classification to Non-Gaussian Models
• Title（参考訳）: 指数族判別分析:非ガウスモデルへのLDAスタイル生成分類の一般化
• Authors: Anish Lakkapragada,
• Abstract要約: EFDA(Exponential Family Discriminant Analysis)は、線形識別分析(LDA)を拡張した統合的生成フレームワークである。 EFDAは、全ての自然パラメータに対する閉形式最大線量推定器を導出し、十分な統計量で線形な決定規則を導出する。
• 参考スコア（独自算出の注目度）: 0.913755431537592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Exponential Family Discriminant Analysis (EFDA), a unified generative framework that extends classical Linear Discriminant Analysis (LDA) beyond the Gaussian setting to any member of the exponential family. Under the assumption that each class-conditional density belongs to a common exponential family, EFDA derives closed-form maximum-likelihood estimators for all natural parameters and yields a decision rule that is linear in the sufficient statistic, recovering LDA as a special case and capturing nonlinear decision boundaries in the original feature space. We prove that EFDA is asymptotically calibrated and statistically efficient under correct specification, and we generalise it to $K \geq 2$ classes and multivariate data. Through extensive simulation across five exponential-family distributions (Weibull, Gamma, Exponential, Poisson, Negative Binomial), EFDA matches the classification accuracy of LDA, QDA, and logistic regression while reducing Expected Calibration Error (ECE) by $2$-$6\times$, a gap that is structural: it persists for all $n$ and across all class-imbalance levels, because misspecified models remain asymptotically miscalibrated. We further prove and empirically confirm that EFDA's log-odds estimator approaches the Cramér-Rao bound under correct specification, and is the only estimator in our comparison whose mean squared error converges to zero. Complete derivations are provided for nine distributions. Finally, we formally verify all four theoretical propositions in Lean 4, using Aristotle (Harmonic) and OpenGauss (Math, Inc.) as proof generators, with all outputs independently machine-checked by AXLE (Axiom).
• Abstract（参考訳）: 我々は,古典的線形識別分析(LDA)をガウス的セッティングを超えて指数的ファミリーの任意のメンバーに拡張する統合生成フレームワークである指数的家族識別分析(Exponential Family Discriminant Analysis, EFDA)を紹介する。 それぞれのクラス条件密度が共通の指数族に属するという仮定の下で、EFDAはすべての自然パラメータに対する閉形式最大形推定器を導出し、十分な統計量で線形な決定規則を導出し、LDAを特別なケースとして回収し、元の特徴空間における非線形決定境界を捕捉する。 EFDAは、正しい仕様の下で漸近的に校正され、統計的に効率的であることを証明し、それを$K \geq 2$クラスと多変量データに一般化する。 5つの指数族分布(Weibull, Gamma, Exponential, Poisson, Negative Binomial)にわたる広範囲なシミュレーションにより、EFDAはLDA、QDA、ロジスティック回帰の分類精度に一致し、予測された校正誤差(ECE)を2-$6\times$で減らした。 さらに、EFDAの対数推定器が正しい仕様の下でクラメロ・ラオ境界に近づき、平均二乗誤差がゼロに収束する唯一の推定器であることを実証し実証的に確認する。 完全な導出は9つの分布で提供される。 最後に、アリストテレス(Harmonic)とOpenGauss(Math, Inc.)を証明ジェネレータとし、AXLE(Axiom)が独立して出力をマシンチェックすることで、Lean 4の4つの理論命題を正式に検証する。

関連論文リスト

• Deep Linear Discriminant Analysis Revisited [3.569867801312133]
  制約のないDeep Linear Discriminant Analysis (LDA)分類器の場合, 最大線量トレーニングは病的解決策を認める。 混合密度に簡単なペナルティを伴ってLDAログ類似度を増大させるemphDiscriminative Negative Log-Likelihood (DNLL)損失を導入する。
  論文  参考訳（メタデータ） (2026-01-04T17:59:11Z)
• Approximate Leave-one-out Cross Validation for Regression with $\ell_1$ Regularizers (extended version) [12.029919627622954]
  微分不可能な正則化をもつ一般化線形モデル族において、幅広い問題に対する新しい理論を提案する。 n/p と SNR が固定され有界である間、|ALO - LO| は p が無限大に進むにつれて 0 となることを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:48:10Z)
• Asymptotic Statistical Analysis of $f$-divergence GAN [13.587087960403199]
  GAN(Generative Adversarial Networks)は、データ生成において大きな成功を収めている。 GANの一般$f$-divergence定式化の統計的挙動を考察する。 得られた推定方法は、Adversarial Gradient Estimation (AGE)と呼ばれる。
  論文  参考訳（メタデータ） (2022-09-14T18:08:37Z)
• BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
  構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。 近年の進歩により、観測データからDAGの有効最大点推定が可能となった。 線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
  論文  参考訳（メタデータ） (2021-12-06T03:35:21Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• The Exact Asymptotic Form of Bayesian Generalization Error in Latent Dirichlet Allocation [0.0]
  代数幾何学を用いた学習の理論解析により、その一般化誤差と限界確率の正確な形を与える。 数値実験は理論結果と一致している。
  論文  参考訳（メタデータ） (2020-08-04T03:26:16Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。