論文の概要: Derivation of Coupled PCA and SVD Learning Rules from a Newton Zero-Finding Framework

• arxiv url: http://arxiv.org/abs/2003.11456v1
• Date: Wed, 25 Mar 2020 15:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 03:07:21.755852
• Title: Derivation of Coupled PCA and SVD Learning Rules from a Newton Zero-Finding Framework
• Title（参考訳）: newton zero-finding frameworkによるpcaとsvdの結合学習ルールの導出
• Authors: Ralf M\"oller
• Abstract要約: ニュートン最適化による情報基準から複合学習規則を導出する方法が知られている。 ここでは、Newton 0-findingフレームワークから、PCAとSVDを結合した学習ルールを体系的に導き出す方法について述べる。 この枠組みを実証するために、ベクトル推定の定数ユークリッド長または定数和でPCAおよびSVD学習規則を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In coupled learning rules for PCA (principal component analysis) and SVD (singular value decomposition), the update of the estimates of eigenvectors or singular vectors is influenced by the estimates of eigenvalues or singular values, respectively. This coupled update mitigates the speed-stability problem since the update equations converge from all directions with approximately the same speed. A method to derive coupled learning rules from information criteria by Newton optimization is known. However, these information criteria have to be designed, offer no explanatory value, and can only impose Euclidean constraints on the vector estimates. Here we describe an alternative approach where coupled PCA and SVD learning rules can systematically be derived from a Newton zero-finding framework. The derivation starts from an objective function, combines the equations for its extrema with arbitrary constraints on the vector estimates, and solves the resulting vector zero-point equation using Newton's zero-finding method. To demonstrate the framework, we derive PCA and SVD learning rules with constant Euclidean length or constant sum of the vector estimates.
• Abstract（参考訳）: PCA(主成分分析)とSVD(特異値分解)の複合学習ルールでは、固有ベクトルまたは特異ベクトルの推定値の更新は固有値または特異値の推定値に影響される。 この同時更新は、更新方程式がほぼ同じ速度で全方向から収束するため、速度安定性の問題を軽減する。 ニュートン最適化による情報基準から結合学習規則を導出する方法が知られている。 しかし、これらの情報基準は設計され、説明的価値を提供しず、ベクトル推定にユークリッド制約を課すだけでよい。 ここでは、Newton 0-findingフレームワークから、PCAとSVDを結合した学習ルールを体系的に導き出す方法について述べる。 導出は目的関数から始まり、その極限の方程式をベクトル推定の任意の制約と組み合わせ、ニュートンの零点法を用いて得られるベクトル零点方程式を解く。 この枠組みを実証するために、ベクトル推定の定数ユークリッド長または定数和でPCAおよびSVD学習規則を導出する。

関連論文リスト

• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
  現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。 学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。 本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
  論文  参考訳（メタデータ） (2024-06-07T19:10:35Z)
• Orthogonal Gradient Boosting for Simpler Additive Rule Ensembles [10.40809014729148]
  予測規則のグラディエント向上は、潜在的に解釈可能で正確な確率モデルを学ぶための効率的なアプローチである。 本稿では, リスク勾配ベクトルと条件出力ベクトルの射影との角度を, 既に選択された条件の補数に対して測定する方法を示す。 このアプローチは、リスク勾配自体をモデルに追加する理想的な更新を正しく近似し、より一般的でより短いルールを含めることを好んでいる。
  論文  参考訳（メタデータ） (2024-02-24T02:29:10Z)
• Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
  提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。 大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T14:30:06Z)
• Context-Aware Ensemble Learning for Time Series [11.716677452529114]
  本稿では,ベースモデルの特徴ベクトルの結合である特徴のスーパーセットを用いて,ベースモデル予測を効果的に組み合わせたメタ学習手法を提案する。 我々のモデルは、ベースモデルの予測を機械学習アルゴリズムの入力として使用するのではなく、問題の状態に基づいて各時点における最良の組み合わせを選択する。
  論文  参考訳（メタデータ） (2022-11-30T10:36:13Z)
• Derivation of Learning Rules for Coupled Principal Component Analysis in a Lagrange-Newton Framework [0.0]
  所望の収束特性を持つ学習規則の導出のためのラグランジュ・ニュートンフレームワークについて述べる。 ニュートン降下は、制約が導入されたラグランジュ乗算器を含む拡張変数ベクトルに適用される。 このフレームワークは、相互結合微分方程式における固有ベクトルと対応する固有値を同時に推定する「結合」PCA学習ルールを生成する。
  論文  参考訳（メタデータ） (2022-04-28T12:50:11Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Accurate and fast matrix factorization for low-rank learning [4.435094091999926]
  高精度な部分特異値分解(SVD)と巨大な行列の数値ランク推定に関する2つの重要な課題に取り組みます。 我々は、これらの目標を達成するために、Golub-Kahanの対角化プロセスやRitzベクトルなどのクリロフ部分空間の概念を使用します。
  論文  参考訳（メタデータ） (2021-04-21T22:35:02Z)
• Derivation of Symmetric PCA Learning Rules from a Novel Objective Function [0.0]
  主成分/部分空間解析のためのニューラルラーニングルールは、目的関数を最大化することによって導出することができる。 単一の軸を持つ部分空間に対して、最適化はデータ共分散行列の主固有ベクトルを生成する。 複数の軸を持つ部分空間に対して、最適化は、主部分空間にまたがる軸のみに収束するが、主固有ベクトルに収束しないPSA学習規則につながる。
  論文  参考訳（メタデータ） (2020-05-24T08:57:54Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。