論文の概要: Efficient Algorithms for the CCA Family: Unconstrained Objectives with
Unbiased Gradients
- arxiv url: http://arxiv.org/abs/2310.01012v2
- Date: Tue, 21 Nov 2023 21:31:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 18:30:04.694207
- Title: Efficient Algorithms for the CCA Family: Unconstrained Objectives with
Unbiased Gradients
- Title(参考訳): ccaファミリーの効率的なアルゴリズム:不偏勾配を持つ非拘束目的
- Authors: James Chapman, Lennie Wells, Ana Lawry Aguila
- Abstract要約: 本稿では, PLS, CCA, Deep CCAの高速アルゴリズム群について述べる。
この速度により、英国バイオバンクの非常に大きなバイオメディカルデータセットの第一種PSS分析を実行できます。
- 参考スコア(独自算出の注目度): 0.1534667887016089
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Canonical Correlation Analysis (CCA) family of methods is foundational in
multi-view learning. Regularised linear CCA methods can be seen to generalise
Partial Least Squares (PLS) and be unified with a Generalized Eigenvalue
Problem (GEP) framework. However, classical algorithms for these linear methods
are computationally infeasible for large-scale data. Extensions to Deep CCA
show great promise, but current training procedures are slow and complicated.
First we propose a novel unconstrained objective that characterizes the top
subspace of GEPs. Our core contribution is a family of fast algorithms for
stochastic PLS, stochastic CCA, and Deep CCA, simply obtained by applying
stochastic gradient descent (SGD) to the corresponding CCA objectives. These
methods show far faster convergence and recover higher correlations than the
previous state-of-the-art on all standard CCA and Deep CCA benchmarks. This
speed allows us to perform a first-of-its-kind PLS analysis of an extremely
large biomedical dataset from the UK Biobank, with over 33,000 individuals and
500,000 variants. Finally, we not only match the performance of `CCA-family'
Self-Supervised Learning (SSL) methods on CIFAR-10 and CIFAR-100 with minimal
hyper-parameter tuning, but also establish the first solid theoretical links to
classical CCA, laying the groundwork for future insights.
- Abstract(参考訳): カノニカル相関解析(CCA)は多視点学習の基礎となる手法である。
正規化線形CAA法は、部分最小正方形(PLS)を一般化し、一般化固有値問題(GEP)フレームワークと統一することができる。
しかし、これらの線形手法の古典的アルゴリズムは大規模データに対して計算不可能である。
Deep CCAの拡張は有望だが、現在のトレーニング手順は遅く、複雑である。
まず,gepsの最上位部分空間を特徴付ける新しい非拘束目的を提案する。
我々のコアコントリビューションは、確率的PSS、確率的CAA、Deep CCAのための高速アルゴリズムのファミリーであり、対応するCAの目的に確率的勾配勾配(SGD)を適用するだけで得られる。
これらの手法は、すべての標準CCAおよびDeep CCAベンチマークにおいて、従来よりもはるかに高速な収束と高い相関関係の回復を示す。
このスピードにより、英国バイオバンクの非常に大きなバイオメディカルデータセットを、約3万3000人以上の個人と50万の変種で分析することができます。
最後に, CIFAR-10 と CIFAR-100 における 'CCA- Family' Self-Supervised Learning (SSL) 手法の性能を最小限のハイパーパラメータチューニングで再現するだけでなく, 従来の CCA との最初の理論的リンクを確立し, 今後の知見の基盤となる。
関連論文リスト
- A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。
我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-12-17T04:41:07Z) - Provably Efficient UCB-type Algorithms For Learning Predictive State
Representations [55.00359893021461]
逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である
本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。
PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
論文 参考訳(メタデータ) (2023-07-01T18:35:21Z) - SLCA: Slow Learner with Classifier Alignment for Continual Learning on a
Pre-trained Model [73.80068155830708]
予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。
Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。
さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
論文 参考訳(メタデータ) (2023-03-09T08:57:01Z) - Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。
PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文 参考訳(メタデータ) (2022-01-26T19:59:14Z) - Breaking the Linear Iteration Cost Barrier for Some Well-known
Conditional Gradient Methods Using MaxIP Data-structures [49.73889315176884]
条件勾配法(CGM)は現代の機械学習で広く使われている。
ほとんどの取り組みは、全体の実行時間を短縮する手段として、イテレーションの数を減らすことに重点を置いています。
本稿では,多くの基本最適化アルゴリズムに対して,イテレーション毎のコストがパラメータ数にサブ線形である最初のアルゴリズムを示す。
論文 参考訳(メタデータ) (2021-11-30T05:40:14Z) - Communication-Efficient Federated Linear and Deep Generalized Canonical
Correlation Analysis [13.04301271535511]
本研究は, 線形GCCAと深層GCCAの双方を対象とした, コミュニケーション効率のよいフェデレーション学習フレームワークを提案する。
実験により,提案アルゴリズムは精度と収束速度をほぼ損なうことなく,通信オーバーヘッドを大幅に低減できることを示した。
論文 参考訳(メタデータ) (2021-09-25T16:43:10Z) - Spike and slab Bayesian sparse principal component analysis [0.6599344783327054]
本稿では,パラメータ拡張座標の漸近変動推論(PX-CAVI)アルゴリズムを提案する。
PX-CAVIアルゴリズムは2つのSPCA手法より優れていることを示す。
このアルゴリズムは肺がん遺伝子発現データセットの研究に応用される。
論文 参考訳(メタデータ) (2021-01-30T20:28:30Z) - Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。
スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。
本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-23T04:25:36Z) - Adversarial Canonical Correlation Analysis [0.0]
標準相関解析(CCA)は、複数のデータソースやビューから共通情報を抽出する手法である。
最近の研究は、深層学習におけるCCA確率的足場を与えている。
あるいは、逆法はオートエンコーダにおける変分ベイズ法に代わる強力な代替手段として生まれてきた。
論文 参考訳(メタデータ) (2020-05-20T20:46:35Z) - Probabilistic Canonical Correlation Analysis for Sparse Count Data [3.1753001245931323]
正準相関解析は2つの連続変数間の関係を探索する重要な手法である。
2つのスパースカウントデータセットの相関と正準相関推定のためのモデルに基づく確率的アプローチを提案する。
論文 参考訳(メタデータ) (2020-05-11T02:19:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。