論文の概要: Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification

• arxiv url: http://arxiv.org/abs/2402.09281v3
• Date: Tue, 08 Oct 2024 16:19:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:29:25.184092
• Title: Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification
• Title（参考訳）: 拡張二分分類のための共分散とヘッセン行列の相乗的固有解析
• Authors: Agus Hartoyo, Jan Argasiński, Aleksandra Trenk, Kinga Przybylska, Anna Błasiak, Alessandro Crimi,
• Abstract要約: 本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
• 参考スコア（独自算出の注目度）: 72.77513633290056
• License:
• Abstract: Covariance and Hessian matrices have been analyzed separately in the literature for classification problems. However, integrating these matrices has the potential to enhance their combined power in improving classification performance. We present a novel approach that combines the eigenanalysis of a covariance matrix evaluated on a training set with a Hessian matrix evaluated on a deep learning model to achieve optimal class separability in binary classification tasks. Our approach is substantiated by formal proofs that establish its capability to maximize between-class mean distance (the concept of \textit{separation}) and minimize within-class variances (the concept of \textit{compactness}), which together define the two linear discriminant analysis (LDA) criteria, particularly under ideal data conditions such as isotropy around class means and dominant leading eigenvalues. By projecting data into the combined space of the most relevant eigendirections from both matrices, we achieve optimal class separability as per these LDA criteria. Empirical validation across neural and health datasets consistently supports our theoretical framework and demonstrates that our method outperforms established methods. Our method stands out by addressing both separation and compactness criteria, unlike PCA and the Hessian method, which predominantly emphasize one criterion each. This comprehensive approach captures intricate patterns and relationships, enhancing classification performance. Furthermore, through the utilization of both LDA criteria, our method outperforms LDA itself by leveraging higher-dimensional feature spaces, in accordance with Cover's theorem, which favors linear separability in higher dimensions. Additionally, our approach sheds light on complex DNN decision-making, rendering them comprehensible within a 2D space.
• Abstract（参考訳）: 共分散行列とヘッセン行列は、分類問題に関する文献の中で別々に分析されている。 しかし、これらの行列の統合は、分類性能を向上させるために、それらの組み合わせのパワーを高める可能性がある。 本稿では,2進分類タスクにおいて最適なクラス分離性を実現するために,学習セットで評価した共分散行列の固有解析と深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 我々のアプローチは、クラス平均距離の最大化とクラス内分散の最小化(「textit{compactness}」の概念)を立証する形式的証明によって裏付けられ、これは2つの線形判別分析(LDA)基準、特にクラス平均の等方性や支配的固有値といった理想的なデータ条件の下で、共に定義される。 両行列から最も関連性の高い固有方向の組合せ空間にデータを投影することにより、これらのLDA基準に従って最適なクラス分離性を達成する。 ニューラルネットワークと健康データセット間の実証検証は、我々の理論的枠組みを一貫してサポートし、我々の手法が確立された手法より優れていることを示す。 本手法は,PCA法とヘッセン法と異なり,分離基準とコンパクト性基準の両方に対処することで際立っている。 この包括的なアプローチは複雑なパターンと関係を捉え、分類性能を向上する。 さらに,両LDA基準の活用により,高次元の特徴空間を利用してLDA自体よりも優れており,高次元の線形分離性を好むCoverの定理に則っている。 さらに、我々のアプローチは複雑なDNNの意思決定に光を当て、それらを2D空間内で理解できるようにする。

関連論文リスト

• Regularized Linear Discriminant Analysis Using a Nonlinear Covariance Matrix Estimator [11.887333567383239]
  線形判別分析(LDA)はデータ分類において広く用いられている手法である。 LDAは、データ共分散行列が不条件であるときに非効率になる。 このような状況に対応するために正規化LDA法が提案されている。
  論文  参考訳（メタデータ） (2024-01-31T11:37:14Z)
• Random Matrix Analysis to Balance between Supervised and Unsupervised Learning under the Low Density Separation Assumption [9.620832983703863]
  線形分類モデルであるQLDSを導入し、低密度分離仮定を2次マージンで実装する。 提案アルゴリズムの特定のケースは、教師付きケースにおける最小二乗支援ベクトルマシン、完全に教師なしシステマにおけるスペクトルクラスタリング、および半教師付きグラフベースアプローチのクラスであることを示す。
  論文  参考訳（メタデータ） (2023-10-20T11:46:12Z)
• Classification of BCI-EEG based on augmented covariance matrix [0.0]
  本稿では,運動画像分類の改善を目的とした自己回帰モデルから抽出した拡張共分散に基づく新しいフレームワークを提案する。 私たちはMOABBフレームワークを使って、いくつかのデータセットといくつかの主題でアプローチを検証します。
  論文  参考訳（メタデータ） (2023-02-09T09:04:25Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Clustering Ensemble Meets Low-rank Tensor Approximation [50.21581880045667]
  本稿では,複数のクラスタリングを組み合わせ,個々のクラスタリングよりも優れたパフォーマンスを実現するクラスタリングアンサンブルの問題について検討する。 本稿では,この問題をグローバルな視点から解くために,新しい低ランクテンソル近似法を提案する。 7つのベンチマークデータセットを用いた実験の結果,提案手法は12の最先端手法と比較して,クラスタリング性能のブレークスルーを達成した。
  論文  参考訳（メタデータ） (2020-12-16T13:01:37Z)
• Self-Weighted Robust LDA for Multiclass Classification with Edge Classes [111.5515086563592]
  SWRLDAと呼ばれる,l21ノルムを基準とした新しい自己重み付き頑健なLDAを提案する。 提案するSWRLDAは実装が容易で,実際に高速に収束する。
  論文  参考訳（メタデータ） (2020-09-24T12:32:55Z)
• Population structure-learned classifier for high-dimension low-sample-size class-imbalanced problem [3.411873646414169]
  集団構造学習型分類器(PSC)を提案する。 PSCは、IHDLSS上でのより優れた一般化性能を得ることができる。 PSCはIHDLSSの最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-09-10T08:33:39Z)
• Exact and Approximation Algorithms for Sparse PCA [1.7640556247739623]
  本稿では,MISDP(MISDP)とMISDP(MISDP)について述べる。 次に、それらの連続緩和値の理論的最適性ギャップを分析し、それらが最先端の値よりも強いことを証明する。 市販の解法は一般にMISDPを解くのが難しいため,MISDPと同等の大きさのMILP(mixed-integer linear program)を用いてSPCAを任意の精度で近似する。
  論文  参考訳（メタデータ） (2020-08-28T02:07:08Z)
• High-Dimensional Quadratic Discriminant Analysis under Spiked Covariance Model [101.74172837046382]
  そこで本研究では,魚の識別比を最大化する2次分類手法を提案する。 数値シミュレーションにより,提案した分類器は,合成データと実データの両方において古典的R-QDAよりも優れるだけでなく,計算量の削減も要求されることがわかった。
  論文  参考訳（メタデータ） (2020-06-25T12:00:26Z)
• Saliency-based Weighted Multi-label Linear Discriminant Analysis [101.12909759844946]
  複数ラベルの分類課題を解決するために,LDA(Linear Discriminant Analysis)の新たな変種を提案する。 提案手法は,個々の試料の重量を定義する確率モデルに基づく。 サリエンシに基づく重み付きマルチラベル LDA アプローチは,様々なマルチラベル分類問題の性能改善につながることが示されている。
  論文  参考訳（メタデータ） (2020-04-08T19:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。