論文の概要: Fast Generalized Matrix Regression with Applications in Machine Learning
- arxiv url: http://arxiv.org/abs/1912.12008v1
- Date: Fri, 27 Dec 2019 07:03:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-10 00:04:49.440975
- Title: Fast Generalized Matrix Regression with Applications in Machine Learning
- Title(参考訳): 高速一般化行列回帰と機械学習への応用
- Authors: Haishan Ye, Shusen Wang, Zhihua Zhang, Tong Zhang
- Abstract要約: スケッチ技術を用いてGMR問題を効率的に解く高速一般化行列回帰アルゴリズム(Fast GMR)を提案する。
我々は,Fast GMRアルゴリズムを対称正定値行列近似と単一パス特異値分解に適用する。
- 参考スコア(独自算出の注目度): 46.79740387890322
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Fast matrix algorithms have become the fundamental tools of machine learning
in big data era.
The generalized matrix regression problem is widely used in the matrix
approximation such as CUR decomposition, kernel matrix approximation, and
stream singular value decomposition (SVD), etc.
In this paper, we propose a fast generalized matrix regression algorithm
(Fast GMR) which utilizes sketching technique to solve the GMR problem
efficiently.
Given error parameter $0<\epsilon<1$, the Fast GMR algorithm can achieve a
$(1+\epsilon)$ relative error with the sketching sizes being of order
$\cO(\epsilon^{-1/2})$ for a large group of GMR problems.
We apply the Fast GMR algorithm to the symmetric positive definite matrix
approximation and single pass singular value decomposition and they achieve a
better performance than conventional algorithms.
Our empirical study also validates the effectiveness and efficiency of our
proposed algorithms.
- Abstract(参考訳): 高速行列アルゴリズムは、ビッグデータ時代の機械学習の基本的なツールとなっている。
一般化行列回帰問題は、CUR分解、カーネル行列近似、ストリーム特異値分解(SVD)などの行列近似において広く用いられている。
本稿では,スケッチ技術を用いてGMR問題を効率的に解く高速一般化行列回帰アルゴリズム(Fast GMR)を提案する。
誤差パラメータが 0<\epsilon<1$ であれば、Fast GMRアルゴリズムは、GMR問題の大規模なグループに対して、スケッチサイズが$\cO(\epsilon^{-1/2})$の相対誤差が$(1+\epsilon)$となる。
我々は,Fast GMRアルゴリズムを対称正定値行列近似とシングルパス特異値分解に適用し,従来のアルゴリズムよりも優れた性能を実現する。
また,提案アルゴリズムの有効性と有効性についても実証研究を行った。
関連論文リスト
- Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement
Learning [53.445068584013896]
低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。
低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。
簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
論文 参考訳(メタデータ) (2023-10-10T17:06:41Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-30T15:57:14Z) - Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
我々はロバスト成分分析のためのアルゴリズムを設計する(A)
行列を低主行列とスパース主行列の和に分解する。
論文 参考訳(メタデータ) (2023-07-12T03:48:26Z) - Learning the Positions in CountSketch [49.57951567374372]
本稿では,まずランダムなスケッチ行列に乗じてデータを圧縮し,最適化問題を高速に解くスケッチアルゴリズムについて検討する。
本研究では,ゼロでないエントリの位置を最適化する学習ベースアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-11T07:28:35Z) - Accelerated nonlinear primal-dual hybrid gradient algorithms with
applications to machine learning [0.0]
原始双対ハイブリッド勾配(PDHG)は、サドル点構造を持つ凸最適化問題をより小さなサブプロブレムに分割する一階法である。
PDHGは、手前の問題に対して微調整されたステップサイズパラメータを必要とする。
我々は,機械学習に関連する幅広い最適化問題に対して,PDHGアルゴリズムの高速化された非線形変種を導入する。
論文 参考訳(メタデータ) (2021-09-24T22:37:10Z) - Weighted Low Rank Matrix Approximation and Acceleration [0.5177947445379687]
低ランク行列近似は機械学習における中心的な概念の1つである。
低ランク行列補完(LRMC)は、いくつかの観測が欠落しているときにLRMA問題を解く。
重み付き問題を解くアルゴリズムと2つの加速手法を提案する。
論文 参考訳(メタデータ) (2021-09-22T22:03:48Z) - Robust 1-bit Compressive Sensing with Partial Gaussian Circulant
Matrices and Generative Priors [54.936314353063494]
我々は,ロバストな1ビット圧縮センシングのための相関に基づく最適化アルゴリズムのリカバリ保証を提供する。
我々は,実用的な反復アルゴリズムを用いて,画像データセットの数値実験を行い,結果の相関付けを行う。
論文 参考訳(メタデータ) (2021-08-08T05:28:06Z) - Fast and Accurate Pseudoinverse with Sparse Matrix Reordering and
Incremental Approach [4.710916891482697]
擬逆は行列逆の一般化であり、機械学習で広く利用されている。
FastPIはスパース行列に対する新たなインクリメンタル特異値分解法(SVD)である。
我々は,FastPIが精度を損なうことなく,他の近似手法よりも高速に擬似逆計算を行うことを示す。
論文 参考訳(メタデータ) (2020-11-09T07:47:10Z) - QR and LQ Decomposition Matrix Backpropagation Algorithms for Square,
Wide, and Deep -- Real or Complex -- Matrices and Their Software
Implementation [0.0]
この記事では、正方形(m = n)、幅(m n)、深さ(m > n)のいずれかの行列のQR分解に対する行列バックプロパゲーションアルゴリズムを、階数$k = min(m, n)$で提示する。
我々は, ピボット(フルランク)QR分解と深部入力行列のLQ分解のための新しい行列バックプロパゲーション結果を得た。
論文 参考訳(メタデータ) (2020-09-19T21:03:37Z) - Denise: Deep Robust Principal Component Analysis for Positive
Semidefinite Matrices [8.1371986647556]
Deniseは、共分散行列の堅牢なPCAのためのディープラーニングベースのアルゴリズムである。
実験により、デニスは分解品質の点で最先端の性能と一致していることが示された。
論文 参考訳(メタデータ) (2020-04-28T15:45:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。