論文の概要: A Bi-level Nonlinear Eigenvector Algorithm for Wasserstein Discriminant Analysis

• arxiv url: http://arxiv.org/abs/2211.11891v2
• Date: Fri, 28 Jul 2023 02:07:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 16:42:38.317308
• Title: A Bi-level Nonlinear Eigenvector Algorithm for Wasserstein Discriminant Analysis
• Title（参考訳）: ワッサースタイン判別分析のための二レベル非線形固有ベクトルアルゴリズム
• Authors: Dong Min Roh, Zhaojun Bai, Ren-Cang Li
• Abstract要約: ワッサーシュタイン判別分析(Wasserstein discriminant analysis, WDA)は線形次元減少法である。 WDAは、データクラス間のグローバルとローカルの相互接続の両方を説明できる。 2レベル非線形固有ベクトルアルゴリズム(WDA-nepv)を示す。
• 参考スコア（独自算出の注目度）: 3.4806267677524896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Much like the classical Fisher linear discriminant analysis (LDA), the recently proposed Wasserstein discriminant analysis (WDA) is a linear dimensionality reduction method that seeks a projection matrix to maximize the dispersion of different data classes and minimize the dispersion of same data classes via a bi-level optimization. In contrast to LDA, WDA can account for both global and local interconnections between data classes by using the underlying principles of optimal transport. In this paper, a bi-level nonlinear eigenvector algorithm (WDA-nepv) is presented to fully exploit the structures of the bi-level optimization of WDA. The inner level of WDA-nepv for computing the optimal transport matrices is formulated as an eigenvector-dependent nonlinear eigenvalue problem (NEPv), and meanwhile, the outer level for trace ratio optimizations is formulated as another NEPv. Both NEPvs can be computed efficiently under the self-consistent field (SCF) framework. WDA-nepv is derivative-free and surrogate-model-free when compared with existing algorithms. Convergence analysis of the proposed WDA-nepv justifies the utilization of the SCF for solving the bi-level optimization of WDA. Numerical experiments with synthetic and real-life datasets demonstrate the classification accuracy and scalability of WDA-nepv.
• Abstract（参考訳）: 古典的フィッシャー線形判別分析 (LDA) と同様に、最近提案されたワッサーシュタイン判別分析 (WDA) は、異なるデータクラスの分散を最大化し、二段階最適化により同一データクラスの分散を最小化する投影行列を求める線形次元減少法である。 LDAとは対照的に、WDAは最適な転送の基本原理を用いて、データクラス間のグローバルおよびローカルの相互接続を説明できる。 本稿では,二レベル非線形固有ベクトルアルゴリズム(WDA-nepv)を提案する。 最適輸送行列を計算するためのWDA-nepvの内部レベルは固有ベクトル依存非線形固有値問題(NEPv)として定式化され、一方、トレース比最適化の外部レベルは別のNEPvとして定式化される。 NEPvsはSCF(Self-Consistent Field)フレームワークで効率的に計算できる。 WDA-nepvは、既存のアルゴリズムと比較してデリバティブフリーで代理モデルフリーである。 提案したWDA-nepvの収束解析は、WDAの2レベル最適化を解くためのSCFの利用を正当化する。 WDA-nepvの分類精度と拡張性を示す合成および実生活データセットを用いた数値実験を行った。

関連論文リスト

• Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [75.90957645766676]
  本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 我々のアプローチは、クラス間の平均距離を最大化し、クラス内の分散を最小化する能力を確立する形式的な証明によって裏付けられている。
  論文  参考訳（メタデータ） (2024-02-14T16:10:42Z)
• Regularized Linear Discriminant Analysis Using a Nonlinear Covariance Matrix Estimator [11.887333567383239]
  線形判別分析(LDA)はデータ分類において広く用いられている手法である。 LDAは、データ共分散行列が不条件であるときに非効率になる。 このような状況に対応するために正規化LDA法が提案されている。
  論文  参考訳（メタデータ） (2024-01-31T11:37:14Z)
• A Preconditioned Interior Point Method for Support Vector Machines Using an ANOVA-Decomposition and NFFT-Based Matrix-Vector Products [0.6445605125467574]
  最適化問題に対して内部点法で用いられる特徴空間に対して,ANOVA分解を用いた NFFT 加速行列ベクトル積を提案する。 いくつかの大規模データセット上で、異なるプリコンディショナーの性能およびANOVAカーネルの性能について検討する。
  論文  参考訳（メタデータ） (2023-12-01T12:27:11Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Minimally Informed Linear Discriminant Analysis: training an LDA model with unlabelled data [51.673443581397954]
  本研究では,LDAモデルからの正確な射影ベクトルを,ラベルのないデータに基づいて計算可能であることを示す。 MILDA投影ベクトルはLDAに匹敵する計算コストで閉じた形で計算可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-17T09:50:31Z)
• GO-LDA: Generalised Optimal Linear Discriminant Analysis [6.644357197885522]
  線形判別分析はパターン認識やデータ解析の研究、実践において有用なツールである。 多クラスLDAに対する一般化固有解析解は、直交判別方向を導出したり、それに沿った投影データの識別を最大化したりしないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T23:11:05Z)
• Spectrally-Corrected and Regularized Linear Discriminant Analysis for Spiked Covariance Model [2.517838307493912]
  本稿では、スペクトル補正および正規化LDA(SRLDA)と呼ばれる線形判別分析の改善を提案する。 SRLDAはスパイクモデル仮定の下で線形分類大域最適解を持つことが証明された。 異なるデータセットに対する実験により、SRLDAアルゴリズムは、現在使われているツールよりも分類と次元の削減が優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-08T00:47:50Z)
• coVariance Neural Networks [119.45320143101381]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。 我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。 VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:04:43Z)
• Varying Coefficient Linear Discriminant Analysis for Dynamic Data [5.228711636020666]
  本稿では,動的データに対する変動係数LDAモデルについて検討する。 ベイズ方向と平行な新たな識別方向関数を導出することにより,最小二乗推定法を提案する。 高次元の場合、対応するデータ駆動判別法則は、既存の動的線形プログラミング法則よりも計算的に効率的である。
  論文  参考訳（メタデータ） (2022-03-12T07:32:19Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。