論文の概要: Sparse GCA and Thresholded Gradient Descent
- arxiv url: http://arxiv.org/abs/2107.00371v1
- Date: Thu, 1 Jul 2021 11:15:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 19:06:58.791306
- Title: Sparse GCA and Thresholded Gradient Descent
- Title(参考訳): Sparse GCAとThresholded Gradient Descent
- Authors: Sheng Gao, Zongming Ma
- Abstract要約: 一般化相関解析(GCA)は、データセット間の線形関係を明らかにすることを目的としている。
データに複数の一般化された相関が存在する場合、スパースGAAについて検討する。
本稿では,GCA負荷ベクトルと勾配行列を高次元で推定するためのしきい値降下アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 9.971356146653973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalized correlation analysis (GCA) is concerned with uncovering linear
relationships across multiple datasets. It generalizes canonical correlation
analysis that is designed for two datasets. We study sparse GCA when there are
potentially multiple generalized correlation tuples in data and the loading
matrix has a small number of nonzero rows. It includes sparse CCA and sparse
PCA of correlation matrices as special cases. We first formulate sparse GCA as
generalized eigenvalue problems at both population and sample levels via a
careful choice of normalization constraints. Based on a Lagrangian form of the
sample optimization problem, we propose a thresholded gradient descent
algorithm for estimating GCA loading vectors and matrices in high dimensions.
We derive tight estimation error bounds for estimators generated by the
algorithm with proper initialization. We also demonstrate the prowess of the
algorithm on a number of synthetic datasets.
- Abstract(参考訳): 一般化相関解析(GCA)は、複数のデータセットにわたる線形関係を明らかにすることを目的としている。
2つのデータセット用に設計された正準相関解析を一般化する。
本研究では,データ中に多元的相関タプルが存在する場合のスパースGAAについて検討し,負荷行列の非ゼロ行数は少ない。
特別に相関行列のスパースCCAとスパースPCAを含む。
まず,正規化制約の慎重に選択することで,一般固有値問題として正規化gcaを一般化した。
サンプル最適化問題のラグランジアン形式に基づいて,GCA負荷ベクトルと行列を高次元で推定するためのしきい値勾配降下アルゴリズムを提案する。
適切な初期化を伴うアルゴリズムによって生成された推定誤差境界を求める。
また,様々な合成データセット上でアルゴリズムの長所を実演する。
関連論文リスト
- Riemannian Optimization for Non-convex Euclidean Distance Geometry with Global Recovery Guarantees [6.422262171968397]
ユークリッド距離幾何学問題を解くために2つのアルゴリズムが提案されている。
第一のアルゴリズムは真の解に線形に収束する。
第2のアルゴリズムは、合成データと実データの両方で強い数値性能を示す。
論文 参考訳(メタデータ) (2024-10-08T21:19:22Z) - One-step Bipartite Graph Cut: A Normalized Formulation and Its
Application to Scalable Subspace Clustering [56.81492360414741]
両部グラフの1ステップ正規化カットを、特に線形時間複雑性で実施する方法を示す。
本稿では、まず、正規化制約付き一段階二分グラフカット基準を特徴付けるとともに、そのトレース問題に対する等価性を理論的に証明する。
このカット基準を、適応アンカー学習、二部グラフ学習、一段階正規化二部グラフ分割を同時にモデル化するスケーラブルなサブスペースクラスタリングアプローチに拡張する。
論文 参考訳(メタデータ) (2023-05-12T11:27:20Z) - Rank-1 Matrix Completion with Gradient Descent and Small Random
Initialization [15.127728811011245]
我々は,GDの暗黙的正規化が分析において重要な役割を担っていることを示す。
我々は、手頃な分析において暗黙の正規化GDが重要な役割を担っていることを観察する。
論文 参考訳(メタデータ) (2022-12-19T12:05:37Z) - Inference of Multiscale Gaussian Graphical Model [0.0]
階層的なクラスタリング構造と階層のそれぞれのレベルでの独立性構造を記述するグラフを同時に推論する新しい手法を提案する。
実データと合成データの結果が提示される。
論文 参考訳(メタデータ) (2022-02-11T17:11:20Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - Information-Theoretic Generalization Bounds for Iterative
Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。
我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文 参考訳(メタデータ) (2021-10-03T05:38:49Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-06T04:28:19Z) - Sparse Generalized Canonical Correlation Analysis: Distributed
Alternating Iteration based Approach [18.93565942407577]
Sparse Canonical correlation analysis (CCA) はスパース構造を用いた潜伏情報検出に有用な統計ツールである。
本稿では,多視点データとスパース構造との潜在関係を検出可能な一般標準相関解析(GCCA)を提案する。
論文 参考訳(メタデータ) (2020-04-23T05:53:48Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z) - Generalized Canonical Correlation Analysis: A Subspace Intersection
Approach [30.475159163815505]
Generalized Canonical correlation Analysis (GCCA)は、データマイニング、機械学習、人工知能に多くの応用を見出す重要なツールである。
本稿では,GCCAの本質を自然に捉えた(双線形)生成モデルに基づく,GCCAの新たな代数的視点を提供する。
大規模GCCAタスクを処理するためにスケールアップする部分空間交叉に基づく新しいGCCAアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-03-25T04:04:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。