論文の概要: Linear Discriminant Analysis with Gradient Optimization on Covariance Inverse

• arxiv url: http://arxiv.org/abs/2506.06845v1
• Date: Sat, 07 Jun 2025 15:50:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.523343
• Title: Linear Discriminant Analysis with Gradient Optimization on Covariance Inverse
• Title（参考訳）: 共分散逆の勾配最適化による線形判別解析
• Authors: Cencheng Shen, Yuexiao Dong,
• Abstract要約: 線形識別分析(LDA)は統計的パターン認識と分類の基本的な方法である。 本研究では,勾配降下による逆共分散行列を直接最適化する手法である勾配最適化付きLDA(LDA-GO)を提案する。 このアルゴリズムは、コレスキー分解を通じて逆共分散行列をパラメータ化し、計算複雑性を低減するために低ランク拡張を組み込み、多重初期化戦略を考える。
• 参考スコア（独自算出の注目度）: 4.872570541276082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear discriminant analysis (LDA) is a fundamental method in statistical pattern recognition and classification, achieving Bayes optimality under Gaussian assumptions. However, it is well-known that classical LDA may struggle in high-dimensional settings due to instability in covariance estimation. In this work, we propose LDA with gradient optimization (LDA-GO), a new approach that directly optimizes the inverse covariance matrix via gradient descent. The algorithm parametrizes the inverse covariance matrix through Cholesky factorization, incorporates a low-rank extension to reduce computational complexity, and considers a multiple-initialization strategy, including identity initialization and warm-starting from the classical LDA estimates. The effectiveness of LDA-GO is demonstrated through extensive multivariate simulations and real-data experiments.
• Abstract（参考訳）: 線形判別分析(LDA)は統計的パターン認識と分類の基本的な手法であり、ガウスの仮定の下でベイズ最適性を達成する。 しかし、古典的なLDAは、共分散推定の不安定性のため、高次元の設定に苦しむことはよく知られている。 本研究では,勾配降下による逆共分散行列を直接最適化する手法である勾配最適化付きLDA(LDA-GO)を提案する。 このアルゴリズムは、コレスキー分解を通じて逆共分散行列をパラメトリズし、計算複雑性を低減するために低ランク拡張を導入し、古典的なLDA推定から恒等初期化やウォームスタートを含む多重初期化戦略を検討する。 LDA-GOの有効性は、多変量シミュレーションと実データ実験によって実証される。

関連論文リスト

• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
  本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
  論文  参考訳（メタデータ） (2024-02-14T16:10:42Z)
• Regularized Linear Discriminant Analysis Using a Nonlinear Covariance Matrix Estimator [11.887333567383239]
  線形判別分析(LDA)はデータ分類において広く用いられている手法である。 LDAは、データ共分散行列が不条件であるときに非効率になる。 このような状況に対応するために正規化LDA法が提案されている。
  論文  参考訳（メタデータ） (2024-01-31T11:37:14Z)
• A Bi-level Nonlinear Eigenvector Algorithm for Wasserstein Discriminant Analysis [3.4806267677524896]
  ワッサーシュタイン判別分析(Wasserstein discriminant analysis, WDA)は線形次元減少法である。 WDAは、データクラス間のグローバルとローカルの相互接続の両方を説明できる。 2レベル非線形固有ベクトルアルゴリズム(WDA-nepv)を示す。
  論文  参考訳（メタデータ） (2022-11-21T22:40:43Z)
• Spectrally-Corrected and Regularized Linear Discriminant Analysis for Spiked Covariance Model [2.517838307493912]
  本稿では、スペクトル補正および正規化LDA(SRLDA)と呼ばれる線形判別分析の改善を提案する。 SRLDAはスパイクモデル仮定の下で線形分類大域最適解を持つことが証明された。 異なるデータセットに対する実験により、SRLDAアルゴリズムは、現在使われているツールよりも分類と次元の削減が優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-08T00:47:50Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Converting ADMM to a Proximal Gradient for Convex Optimization Problems [4.56877715768796]
  融解ラッソや凸クラスタリングなどのスパース推定では、問題を解くために、近位勾配法またはマルチプライヤー(ADMM)の交互方向法のいずれかを適用します。 本論文では,制約と目的が強く凸であると仮定し,ADMM溶液を近位勾配法に変換する一般的な方法を提案する。 数値実験により, 効率の面で有意な改善が得られることを示した。
  論文  参考訳（メタデータ） (2021-04-22T07:41:12Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。