Fugu-MT 論文翻訳(概要): Simplex Deep Linear Discriminant Analysis

論文の概要: Simplex Deep Linear Discriminant Analysis

arxiv url: http://arxiv.org/abs/2601.01679v1
Date: Sun, 04 Jan 2026 22:22:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-06 16:25:22.6386
Title: Simplex Deep Linear Discriminant Analysis
Title（参考訳）: Simplex Deep Linear Discriminant Analysis
Authors: Maxat Tezekbayev, Arman Bolatov, Zhenisbek Assylbekov,
Abstract要約: 我々は,Deep Linear Discriminant Analysis (Deep LDA)を再考する。古典的LDAは線形決定境界を持つ単純なガウスモデルであるのに対し、LDAヘッドをニューラルエンコーダにアタッチすると、最大推定(MLE)による深部分類器の訓練方法が疑問視される。まず,LDAパラメータとエンコーダパラメータの両方を併用して学習した場合,クラスクラスタのいくつかが重なり,あるいは崩壊し,分類性能が低下する,退化解が認められる。
参考スコア（独自算出の注目度）: 2.6381163133447836
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We revisit Deep Linear Discriminant Analysis (Deep LDA) from a likelihood-based perspective. While classical LDA is a simple Gaussian model with linear decision boundaries, attaching an LDA head to a neural encoder raises the question of how to train the resulting deep classifier by maximum likelihood estimation (MLE). We first show that end-to-end MLE training of an unconstrained Deep LDA model ignores discrimination: when both the LDA parameters and the encoder parameters are learned jointly, the likelihood admits a degenerate solution in which some of the class clusters may heavily overlap or even collapse, and classification performance deteriorates. Batchwise moment re-estimation of the LDA parameters does not remove this failure mode. We then propose a constrained Deep LDA formulation that fixes the class means to the vertices of a regular simplex in the latent space and restricts the shared covariance to be spherical, leaving only the priors and a single variance parameter to be learned along with the encoder. Under these geometric constraints, MLE becomes stable and yields well-separated class clusters in the latent space. On images (Fashion-MNIST, CIFAR-10, CIFAR-100), the resulting Deep LDA models achieve accuracy competitive with softmax baselines while offering a simple, interpretable latent geometry that is clearly visible in two-dimensional projections.
Abstract（参考訳）: 我々は,Deep Linear Discriminant Analysis (Deep LDA)を再考する。古典的LDAは線形決定境界を持つ単純なガウスモデルであるのに対し、LDAヘッドをニューラルエンコーダにアタッチすると、最大推定(MLE)により結果の深部分類器の訓練方法が疑問視される。まず,LDAパラメータとエンコーダパラメータの両方を併用して学習した場合,クラスクラスタのいくつかが重なりあるいは崩壊し,分類性能が低下するような縮退した解が認められる。 LDAパラメータのバッチワイズモーメント再推定は、この障害モードを削除しない。次に、クラス平均を潜在空間内の正則単純体の頂点に固定し、共有共分散を球形に制限する制約付きDeep LDA式を提案する。これらの幾何学的制約の下では、MLE は安定になり、潜在空間において十分に分離されたクラスクラスタが得られる。画像(Fashion-MNIST, CIFAR-10, CIFAR-100)では、得られたDeep LDAモデルは2次元投影ではっきりと見える単純な解釈可能な潜在幾何学を提供しながら、ソフトマックスベースラインと競合する精度を達成する。

関連論文リスト

Deep Linear Discriminant Analysis Revisited [3.569867801312133]
制約のないDeep Linear Discriminant Analysis (LDA)分類器の場合, 最大線量トレーニングは病的解決策を認める。混合密度に簡単なペナルティを伴ってLDAログ類似度を増大させるemphDiscriminative Negative Log-Likelihood (DNLL)損失を導入する。
論文参考訳（メタデータ） (2026-01-04T17:59:11Z)
Don't Be Greedy, Just Relax! Pruning LLMs via Frank-Wolfe [61.68406997155879]
State-of-the-art Large Language Model (LLM) プルーニング手法は階層的に動作し、階層ごとのプルーニングエラーを最小限に抑え、完全な再トレーニングを回避する。既存の手法は、刈り上げ対象の重量相互作用を無視する欲求凸に依存する。提案手法は, 層ごとのプルーニング誤差を大幅に低減し, 最先端のGPTアーキテクチャにおいて高いベースラインを達成し, メモリ効率を保っている。
論文参考訳（メタデータ） (2025-10-15T16:13:44Z)
Linear Discriminant Analysis with Gradient Optimization on Covariance Inverse [4.872570541276082]
線形識別分析(LDA)は統計的パターン認識と分類の基本的な方法である。本研究では,勾配降下による逆共分散行列を直接最適化する手法である勾配最適化付きLDA(LDA-GO)を提案する。このアルゴリズムは、コレスキー分解を通じて逆共分散行列をパラメータ化し、計算複雑性を低減するために低ランク拡張を組み込み、多重初期化戦略を考える。
論文参考訳（メタデータ） (2025-06-07T15:50:43Z)
Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
論文参考訳（メタデータ） (2025-02-11T13:10:34Z)
Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文参考訳（メタデータ） (2024-02-14T16:10:42Z)
Minimally Informed Linear Discriminant Analysis: training an LDA model with unlabelled data [51.673443581397954]
本研究では,LDAモデルからの正確な射影ベクトルを,ラベルのないデータに基づいて計算可能であることを示す。 MILDA投影ベクトルはLDAに匹敵する計算コストで閉じた形で計算可能であることを示す。
論文参考訳（メタデータ） (2023-10-17T09:50:31Z)
Revisiting Classical Multiclass Linear Discriminant Analysis with a Novel Prototype-based Interpretable Solution [0.0]
LDA++と呼ばれる古典的なLDAに新しいソリューションを導入し、1つのクラスタと類似度を測定するものとして解釈可能な$C$の機能を提供する。この新しい解法は次元還元と多クラス分類の間に橋渡しされる。
論文参考訳（メタデータ） (2022-05-02T06:12:42Z)
Regularized Deep Linear Discriminant Analysis [26.08062442399418]
古典的な線形判別解析(LDA)の非線形拡張として、Deep Linear Discriminant Analysis(DLDA)は元のCategorical Cross Entropy(CCE)損失関数を置き換える。各次元の識別能力を高めるために, クラス内散乱行列の正則化法を提案する。
論文参考訳（メタデータ） (2021-05-15T03:54:32Z)
Self-Weighted Robust LDA for Multiclass Classification with Edge Classes [111.5515086563592]
SWRLDAと呼ばれる,l21ノルムを基準とした新しい自己重み付き頑健なLDAを提案する。提案するSWRLDAは実装が容易で,実際に高速に収束する。
論文参考訳（メタデータ） (2020-09-24T12:32:55Z)
Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
論文参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。