論文の概要: Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction
- arxiv url: http://arxiv.org/abs/2502.00168v3
- Date: Fri, 30 May 2025 16:27:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 17:26:04.93116
- Title: Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction
- Title（参考訳）: 教師付き2次元特徴解析:次元削減のための情報幾何学的アプローチ
- Authors: Daniel Herrera-Esposito, Johannes Burge,
- Abstract要約: 教師付き次元減少は、クラス識別性を最大化しつつ、ラベル付きデータを低次元の特徴空間にマッピングすることを目的としている。
本稿では,SQFA(Supervised Quadratic Feature Analysis)を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised dimensionality reduction aims to map labeled data to a low-dimensional feature space while maximizing class discriminability. Directly computing discriminability is often impractical, so an alternative approach is to learn features that maximize a distance or dissimilarity measure between classes. The Fisher-Rao distance is an important information geometry distance in statistical manifolds. It is induced by the Fisher information metric, a tool widely used for understanding neural representations. Despite its theoretical and pratical appeal, Fisher-Rao distances between classes have not been used as a maximization objective in supervised feature learning. Here, we present Supervised Quadratic Feature Analysis (SQFA), a linear dimensionality reduction method that maximizes Fisher-Rao distances between class distributions, by exploiting the information geometry of the symmetric positive definite manifold. SQFA maximizes distances using first- and second-order statistics, and its features allow for quadratic discriminability (i.e. QDA performance) matching or surpassing state-of-the-art methods on real-world datasets. We theoretically motivate Fisher-Rao distances as a proxy for quadratic discriminability, and compare its performance to other popular distances (e.g. Wasserstein distances). SQFA provides a flexible state-of-the-art method for dimensionality reduction. Its successful use of Fisher-Rao distances between classes motivates future research directions.
- Abstract（参考訳）: 教師付き次元減少は、クラス識別性を最大化しつつ、ラベル付きデータを低次元の特徴空間にマッピングすることを目的としている。
直接的に判別可能性を計算することは、しばしば非現実的であり、クラス間の距離や相似度を最大化する特徴を学習する別のアプローチである。
フィッシャー・ラオ距離は統計多様体における重要な情報幾何学的距離である。
これは、神経表現を理解するために広く使われているツールであるFisher Information Metricsによって誘導される。
理論的・実践的な魅力にもかかわらず、クラス間のフィッシャー・ラオ距離は教師付き特徴学習における最大化の対象として使われていない。
本稿では,対称正定値多様体の情報幾何を利用して,クラス分布間のフィッシャー・ラオ距離を最大化する線形次元減少法であるSupervised Quadratic Feature Analysis (SQFA)を提案する。
SQFAは、一階と二階の統計量を用いて距離を最大化し、その特徴により、実世界のデータセットにおける最先端の手法に適合または超越した2次識別性(QDAパフォーマンス)が可能となる。
理論的にはフィッシャー・ラオ距離を二次判別可能性の代用として動機付け、その性能を他の人気距離(例えばワッサーシュタイン距離)と比較する。
SQFAは、次元還元のための柔軟な最先端の手法を提供する。
クラス間のフィッシャー・ラオ距離の利用は、将来の研究の方向性を動機付けている。
関連論文リスト
- A Convex formulation for linear discriminant analysis [1.3124513975412255]
本稿では,Convex Linear Discriminant Analysis (ConvexLDA) と呼ばれるディメンタリティ低減手法を提案する。
その結果,ConvexLDAは,高次元の生物学的データや画像データセットなどにおいて,LDA(Lyly linear discriminant analysis)に基づくいくつかの手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2025-03-17T18:17:49Z) - Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。
本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文 参考訳（メタデータ） (2024-02-14T16:10:42Z) - Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。
一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。
また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
論文 参考訳（メタデータ） (2023-06-19T19:57:33Z) - Interpretable Linear Dimensionality Reduction based on Bias-Variance
Analysis [45.3190496371625]
本稿では,特徴の解釈可能性を維持するための基本次元削減手法を提案する。
このように、全ての特徴を考慮し、次元性を減らし、解釈可能性を保持する。
論文 参考訳（メタデータ） (2023-03-26T14:30:38Z) - On Hypothesis Transfer Learning of Functional Linear Models [8.557392136621894]
再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。
我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。
2つのアルゴリズムが提案され、1つは正のソースが分かっているときに転送を行い、もう1つはアグリゲーションを利用してソースに関する事前情報なしでロバストな転送を行う。
論文 参考訳（メタデータ） (2022-06-09T04:50:16Z) - Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。
この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
論文 参考訳（メタデータ） (2021-08-02T13:38:09Z) - Sparse Universum Quadratic Surface Support Vector Machine Models for
Binary Classification [0.0]
カーネルフリーな2次曲面サポートベクターマシンモデルを設計する。
二次曲面のヘシアンにおける潜在的空間パターンの検出に有用であるL1ノルム正規化版を提案する。
提案モデルの実現可能性と有効性を示すために、人工的および公共のベンチマークデータセットの数値実験を実施します。
論文 参考訳（メタデータ） (2021-04-03T07:40:30Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳（メタデータ） (2020-11-16T05:17:29Z) - High-Dimensional Quadratic Discriminant Analysis under Spiked Covariance
Model [101.74172837046382]
そこで本研究では,魚の識別比を最大化する2次分類手法を提案する。
数値シミュレーションにより,提案した分類器は,合成データと実データの両方において古典的R-QDAよりも優れるだけでなく,計算量の削減も要求されることがわかった。
論文 参考訳（メタデータ） (2020-06-25T12:00:26Z) - Saliency-based Weighted Multi-label Linear Discriminant Analysis [101.12909759844946]
複数ラベルの分類課題を解決するために,LDA(Linear Discriminant Analysis)の新たな変種を提案する。
提案手法は,個々の試料の重量を定義する確率モデルに基づく。
サリエンシに基づく重み付きマルチラベル LDA アプローチは,様々なマルチラベル分類問題の性能改善につながることが示されている。
論文 参考訳（メタデータ） (2020-04-08T19:40:53Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳（メタデータ） (2020-02-25T23:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。