論文の概要: Derivation of Symmetric PCA Learning Rules from a Novel Objective Function

• arxiv url: http://arxiv.org/abs/2005.11689v2
• Date: Thu, 28 May 2020 06:22:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 13:52:17.810059
• Title: Derivation of Symmetric PCA Learning Rules from a Novel Objective Function
• Title（参考訳）: 新たな目的関数からの対称PCA学習規則の導出
• Authors: Ralf M\"oller
• Abstract要約: 主成分/部分空間解析のためのニューラルラーニングルールは、目的関数を最大化することによって導出することができる。 単一の軸を持つ部分空間に対して、最適化はデータ共分散行列の主固有ベクトルを生成する。 複数の軸を持つ部分空間に対して、最適化は、主部分空間にまたがる軸のみに収束するが、主固有ベクトルに収束しないPSA学習規則につながる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural learning rules for principal component / subspace analysis (PCA / PSA) can be derived by maximizing an objective function (summed variance of the projection on the subspace axes) under an orthonormality constraint. For a subspace with a single axis, the optimization produces the principal eigenvector of the data covariance matrix. Hierarchical learning rules with deflation procedures can then be used to extract multiple eigenvectors. However, for a subspace with multiple axes, the optimization leads to PSA learning rules which only converge to axes spanning the principal subspace but not to the principal eigenvectors. A modified objective function with distinct weight factors had to be introduced produce PCA learning rules. Optimization of the objective function for multiple axes leads to symmetric learning rules which do not require deflation procedures. For the PCA case, the estimated principal eigenvectors are ordered (w.r.t. the corresponding eigenvalues) depending on the order of the weight factors. Here we introduce an alternative objective function where it is not necessary to introduce fixed weight factors; instead, the alternative objective function uses squared summands. Optimization leads to symmetric PCA learning rules which converge to the principal eigenvectors, but without imposing an order. In place of the diagonal matrices with fixed weight factors, variable diagonal matrices appear in the learning rules. We analyze this alternative approach by determining the fixed points of the constrained optimization. The behavior of the constrained objective function at the fixed points is analyzed which confirms both the PCA behavior and the fact that no order is imposed. Different ways to derive learning rules from the optimization of the objective function are presented. The role of the terms in the learning rules obtained from these derivations is explored.
• Abstract（参考訳）: 主成分/部分空間分析(pca / psa)のためのニューラルネットワークルールは、正規直交制約の下で目的関数(部分空間軸上の投影の分散を推定)を最大化することで導出することができる。 単一の軸を持つ部分空間に対して、最適化はデータ共分散行列の主固有ベクトルを生成する。 デフレ手順による階層的学習ルールは、複数の固有ベクトルを抽出するのに使うことができる。 しかし、多重軸を持つ部分空間に対しては、最適化は主部分空間にまたがる軸にのみ収束するが主固有ベクトルに収束しないPSA学習規則につながる。 異なる重み要因を持つ修正対象関数を導入し,PCA学習ルールを作成する必要があった。 複数の軸に対する目的関数の最適化は、デフレ手順を必要としない対称学習規則につながる。 PCAの場合、推定された主固有ベクトルは、重み係数の順序に応じて順序付けされる(すなわち対応する固有値)。 ここでは、固定重み要素を導入する必要のない代替目的関数を導入し、代わりに、代替目的関数は平方和を用いる。 最適化は、主固有ベクトルに収束するが順序を与えることなく対称なpca学習規則をもたらす。 一定の重み係数を持つ対角行列の代わりに、可変対角行列が学習規則に現れる。 制約付き最適化の固定点を決定することによって、この代替手法を解析する。 固定点における制約対象関数の挙動を解析し、PCAの挙動と命令が課されない事実の両方を確認する。 目的関数の最適化から学習ルールを導出する方法が異なる。 これらの導出から得られる学習規則における用語の役割を考察する。

関連論文リスト

• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Simplifying Momentum-based Positive-definite Submanifold Optimization with Applications to Deep Learning [24.97120654216651]
  部分多様体上の運動量を持つ難しい微分方程式の解法を示す。 我々はリーマン正規座標の一般化版を提案する。 我々は,行列乗算のみを用いることで,構造化共分散の既存手法を単純化し,低精度のディープラーニングのための行列非逆2textnd$ordersを開発する。
  論文  参考訳（メタデータ） (2023-02-20T03:31:11Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• Robust Geometric Metric Learning [17.855338784378]
  本稿では,計量学習問題に対する新しいアルゴリズムを提案する。 その後、Robust Geometric Metric Learning (RGML)と呼ばれる一般的な手法が研究される。 RGMLのパフォーマンスは、実際のデータセット上で保証される。
  論文  参考訳（メタデータ） (2022-02-23T14:55:08Z)
• When Random Tensors meet Random Matrices [50.568841545067144]
  本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。 検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
  論文  参考訳（メタデータ） (2021-12-23T04:05:01Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• Jacobian Determinant of Normalizing Flows [7.124391555099448]
  正規化フローは、ターゲットとベース分布の間の微分同相写像を学習する。 その写像のジャコビアン行列は別の実値関数を形成する。 正規化フロートレーニングを安定させるためには,体積の膨張性と収縮とのバランスを維持する必要がある。
  論文  参考訳（メタデータ） (2021-02-12T14:09:28Z)
• Unsupervised Ground Metric Learning using Wasserstein Eigenvectors [0.0]
  主なボトルネックは、研究対象のタスクに適応すべき「基礎」コストの設計である。 本論文では,コストを入力間のペアワイズOT距離にマッピングする関数の正の固有ベクトルとして,接地コストを計算することで,正の正の答えを初めて提案する。 また,主成分分析次元の低減を行うエントロピー正則化を用いたスケーラブルな計算手法を提案する。
  論文  参考訳（メタデータ） (2021-02-11T21:32:59Z)
• Improved Convergence Speed of Fully Symmetric Learning Rules for Principal Component Analysis [0.0]
  この収束問題を緩和する追加項を持つ修正対象関数について述べる。 修正対象関数から派生した学習規則は、元の学習規則からすべての固定点を継承することを示す。
  論文  参考訳（メタデータ） (2020-07-18T13:41:35Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
  我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。 本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-02-08T21:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。