論文の概要: Improved Convergence Speed of Fully Symmetric Learning Rules for Principal Component Analysis

• arxiv url: http://arxiv.org/abs/2007.09426v1
• Date: Sat, 18 Jul 2020 13:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 05:08:13.955998
• Title: Improved Convergence Speed of Fully Symmetric Learning Rules for Principal Component Analysis
• Title（参考訳）: 主成分分析のための全対称学習規則の収束速度の改善
• Authors: Ralf M\"oller
• Abstract要約: この収束問題を緩和する追加項を持つ修正対象関数について述べる。 修正対象関数から派生した学習規則は、元の学習規則からすべての固定点を継承することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fully symmetric learning rules for principal component analysis can be derived from a novel objective function suggested in our previous work. We observed that these learning rules suffer from slow convergence for covariance matrices where some principal eigenvalues are close to each other. Here we describe a modified objective function with an additional term which mitigates this convergence problem. We show that the learning rule derived from the modified objective function inherits all fixed points from the original learning rule (but may introduce additional ones). Also the stability of the inherited fixed points remains unchanged. Only the steepness of the objective function is increased in some directions. Simulations confirm that the convergence speed can be noticeably improved, depending on the weight factor of the additional term.
• Abstract（参考訳）: 主成分分析のための完全対称学習規則は,本研究で提案する新しい目的関数から導出することができる。 これらの学習規則は、いくつかの主固有値が互いに近い共分散行列に対して緩やかに収束する。 ここではこの収束問題を緩和する追加項を持つ修正対象関数を記述する。 修正対象関数から派生した学習規則は、元の学習規則からすべての固定点を継承する(ただし、追加の学習規則を導入する)。 また、継承された固定点の安定性は変わらない。 目的関数の急勾配のみが、ある方向に増加する。 シミュレーションにより、加算項の重み係数に応じて収束速度が顕著に改善できることが確認される。

関連論文リスト

• Is All Learning (Natural) Gradient Descent? [1.3654846342364308]
  有効学習規則のクラスは、適切に定義された損失関数とメートル法に対して、自然な勾配降下であることを示す。 また、これらの指標は正準形式を持ち、最小条件数を達成する指標を含む複数の最適な指標を同定することを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:41:08Z)
• Good regularity creates large learning rate implicit biases: edge of stability, balancing, and catapult [49.8719617899285]
  非最適化のための客観的降下に適用された大きな学習速度は、安定性の端を含む様々な暗黙のバイアスをもたらす。 この論文は降下の初期段階を示し、これらの暗黙の偏見が実際には同じ氷山であることを示す。
  論文  参考訳（メタデータ） (2023-10-26T01:11:17Z)
• Over-Parameterization Exponentially Slows Down Gradient Descent for Learning a Single Neuron [49.45105570960104]
  ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。 これら2つの境界は、収束率の正確な特徴づけを与える。 このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
  論文  参考訳（メタデータ） (2023-02-20T15:33:26Z)
• The Geometry of Neural Nets' Parameter Spaces Under Reparametrization [35.5848464226014]
  我々は、リーマン幾何学の観点から、リパラメトリゼーションの下でのニューラルネットの不変性について研究する。 本稿では,ミニマムの平坦度,最適化,および確率密度について考察する。
  論文  参考訳（メタデータ） (2023-02-14T22:48:24Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Proximal Gradient Descent-Ascent: Variable Convergence under K{\L} Geometry [49.65455534654459]
  有限降下指数パラメータ (GDA) はミニマックス最適化問題の解法として広く応用されている。 本稿では、KL-L型幾何学の収束を研究することにより、そのようなギャップを埋める。
  論文  参考訳（メタデータ） (2021-02-09T05:35:53Z)
• A Study of Condition Numbers for First-Order Optimization [12.072067586666382]
  我々は*-ノルムと呼ばれる新しいノルムによって定量化された摂動のクラスを導入する。 滑らかさと強い凸性は任意に小さい摂動に強く影響される。 本稿では,ロバストなチューニング戦略に不可欠なメトリクスの連続性の概念を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:17:48Z)
• Linear Last-iterate Convergence in Constrained Saddle-point Optimization [48.44657553192801]
  我々は、OGDA(Optimistic Gradient Descent Ascent)とOMWU(Optimistic Multiplicative Weights Update)に対する最終段階の独特さの理解を著しく拡大する。 平衡が一意である場合、線形終端収束は、値が普遍定数に設定された学習速度で達成されることを示す。 任意のポリトープ上の双線型ゲームがこの条件を満たすことを示し、OGDAは一意の平衡仮定なしで指数関数的に高速に収束することを示した。
  論文  参考訳（メタデータ） (2020-06-16T20:53:04Z)
• Derivation of Symmetric PCA Learning Rules from a Novel Objective Function [0.0]
  主成分/部分空間解析のためのニューラルラーニングルールは、目的関数を最大化することによって導出することができる。 単一の軸を持つ部分空間に対して、最適化はデータ共分散行列の主固有ベクトルを生成する。 複数の軸を持つ部分空間に対して、最適化は、主部分空間にまたがる軸のみに収束するが、主固有ベクトルに収束しないPSA学習規則につながる。
  論文  参考訳（メタデータ） (2020-05-24T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。