Fugu-MT 論文翻訳(概要): Regularisation for PCA- and SVD-type matrix factorisations

論文の概要: Regularisation for PCA- and SVD-type matrix factorisations

arxiv url: http://arxiv.org/abs/2106.12955v1
Date: Thu, 24 Jun 2021 12:25:12 GMT
ステータス: 処理完了
システム内更新日: 2021-06-25 21:55:08.928013
Title: Regularisation for PCA- and SVD-type matrix factorisations
Title（参考訳）: PCA型およびSVD型マトリックス分解の規則化
Authors: Abdolrahman Khoshrou, Eric J. Pauwels
Abstract要約: 特異値分解(SVD)とその近縁な主成分分析(PCA)はよく知られた線形行列分解法である。本稿では,正規化問題について考察し,最小化問題の異なる定式化が質的に異なる解をもたらすことを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Singular Value Decomposition (SVD) and its close relative, Principal Component Analysis (PCA), are well-known linear matrix decomposition techniques that are widely used in applications such as dimension reduction and clustering. However, an important limitation of SVD/PCA is its sensitivity to noise in the input data. In this paper, we take another look at the problem of regularisation and show that different formulations of the minimisation problem lead to qualitatively different solutions.
Abstract（参考訳）: 特異値分解(SVD)とその近縁な主成分分析(PCA)は、次元減少やクラスタリングなどのアプリケーションで広く使われているよく知られた線形行列分解手法である。しかし、SVD/PCAの重要な制限は入力データのノイズに対する感度である。本稿では,正規化問題について考察し,最小化問題の異なる定式化が質的に異なる解をもたらすことを示す。

関連論文リスト

Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文参考訳（メタデータ） (2024-02-14T16:10:42Z)
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文参考訳（メタデータ） (2023-06-22T23:14:57Z)
Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-11-02T00:58:02Z)
Robust Singular Values based on L1-norm PCA [11.706222361809374]
Singular-Value Decomposition (SVD) は、工学、科学、統計学におけるユビキタスなデータ解析手法である。本稿では,L1-ノルム(絶対値の仮定)の定式化に基づくSVDと特異値推定のための新しいロバストな非パラメトリック手法を提案する。
論文参考訳（メタデータ） (2022-10-21T16:42:49Z)
Supervised Linear Dimension-Reduction Methods: Review, Extensions, and Comparisons [6.71092092685492]
主成分分析(PCA)は、データ解析やモデリングに広く用いられている、よく知られた線形次元還元法である。本稿では,選択した手法をレビューし,その一部を拡張し,シミュレーションによる性能比較を行う。これらの2つの手法のうち、部分最小二乗法(PLS)と最小二乗法(LSPCA)は、この研究で他よりも一貫して優れている。
論文参考訳（メタデータ） (2021-09-09T17:57:25Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Reduction of the Number of Variables in Parametric Constrained Least-Squares Problems [0.20305676256390928]
本稿では,関連する最適化変数数を削減する手法を提案する。本稿では, 非線形ベンチマークプロセスの数値実験および線形化MPC問題において, 提案手法の優れた性能を示す。
論文参考訳（メタデータ） (2020-12-18T18:26:40Z)
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method [47.80060761046752]
ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。 RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。本稿では、近年のローワークの動機付けについて述べる。
論文参考訳（メタデータ） (2020-08-18T04:46:22Z)
Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
複数の異なる損失を最小化しなければならない最適化問題を考える。提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
論文参考訳（メタデータ） (2020-07-14T09:50:33Z)
Optimal Structured Principal Subspace Estimation: Metric Entropy and Minimax Rates [6.00362077400694]
本稿では,一般構造主部分空間推定問題の統計的解析のための統一的な枠組みを提案する。非負のPCA/SVD、スパースPCA/SVD、サブスペース制約PCA/SVD、スペクトルクラスタリングなどである。一般的な結果を特定の設定に適用すると、それらの問題に対する収束の最小値が得られる。
論文参考訳（メタデータ） (2020-02-18T15:02:11Z)
D-GCCA: Decomposition-based Generalized Canonical Correlation Analysis for Multi-view High-dimensional Data [11.184915338554422]
高次元多視点データ分析における一般的なモデルは、各ビューのデータ行列を、すべてのデータビューに共通する潜在因子によって生成される低ランクの共通ソース行列に分解する。本稿では,分解に基づく一般化正準相関解析(D-GCCA)と呼ばれる新しい分解法を提案する。我々のD-GCCAは、共通成分と特異成分を正準変数から分離することにより、一般化された正準相関解析よりも一歩前進する。
論文参考訳（メタデータ） (2020-01-09T06:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。