論文の概要: Unconstrained Stochastic CCA: Unifying Multiview and Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2310.01012v4
• Date: Wed, 1 May 2024 16:02:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 20:21:02.372260
• Title: Unconstrained Stochastic CCA: Unifying Multiview and Self-Supervised Learning
• Title（参考訳）: 制約のない確率的CAA:マルチビューと自己監督学習の統合
• Authors: James Chapman, Lennie Wells, Ana Lawry Aguila,
• Abstract要約: PLS, CCA, Deep CCA の高速アルゴリズム群を標準 CCA と Deep CCA のベンチマークで示す。 我々のアルゴリズムは、従来の最先端ベンチマークよりもはるかに高速な収束と高い相関関係の回復を示す。 これらの改良により、非常に大きなバイオメディカルデータセットの第一種PSS分析を行うことができる。
• 参考スコア（独自算出の注目度）: 0.13654846342364307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Canonical Correlation Analysis (CCA) family of methods is foundational in multiview learning. Regularised linear CCA methods can be seen to generalise Partial Least Squares (PLS) and be unified with a Generalized Eigenvalue Problem (GEP) framework. However, classical algorithms for these linear methods are computationally infeasible for large-scale data. Extensions to Deep CCA show great promise, but current training procedures are slow and complicated. First we propose a novel unconstrained objective that characterizes the top subspace of GEPs. Our core contribution is a family of fast algorithms for stochastic PLS, stochastic CCA, and Deep CCA, simply obtained by applying stochastic gradient descent (SGD) to the corresponding CCA objectives. Our algorithms show far faster convergence and recover higher correlations than the previous state-of-the-art on all standard CCA and Deep CCA benchmarks. These improvements allow us to perform a first-of-its-kind PLS analysis of an extremely large biomedical dataset from the UK Biobank, with over 33,000 individuals and 500,000 features. Finally, we apply our algorithms to match the performance of `CCA-family' Self-Supervised Learning (SSL) methods on CIFAR-10 and CIFAR-100 with minimal hyper-parameter tuning, and also present theory to clarify the links between these methods and classical CCA, laying the groundwork for future insights.
• Abstract（参考訳）: カノニカル相関解析(CCA)は多視点学習の基礎となる手法である。 正規化線形CAA法は部分最小正方形 (PLS) を一般化し、一般化固有値問題 (GEP) フレームワークと統一することができる。 しかし、これらの線形手法の古典的アルゴリズムは大規模データに対して計算不可能である。 Deep CCAの拡張は有望だが、現在のトレーニング手順は遅く、複雑である。 まず、GEPの上位部分空間を特徴付ける、制約のない新しい目的を提案する。 我々のコアコントリビューションは、確率的PSS、確率的CAA、Deep CCAのための高速アルゴリズムのファミリーであり、対応するCAの目的に確率的勾配勾配(SGD)を適用するだけで得られる。 我々のアルゴリズムは、すべての標準CCAおよびDeep CCAベンチマークにおいて、従来よりもはるかに高速な収束と高い相関関係の回復を示す。 これらの改善により、英国バイオバンクの非常に大きなバイオメディカルデータセットを、最初のPLS分析で分析することができます。 最後に,CIFAR-10 と CIFAR-100 における 'CCA- Family' Self-Supervised Learning (SSL) 手法の性能を最小限のハイパーパラメータチューニングで比較し,これらの手法と古典的な CCA との関係を明らかにするための理論を述べる。

関連論文リスト

• FastSurvival: Hidden Computational Blessings in Training Cox Proportional Hazards Models [24.041562124587262]
  コックス比例ハザード(CPH)モデルは、解釈可能性、柔軟性、予測性能に広く利用されている。 CPHモデルをトレーニングする現在のアルゴリズムには欠点があり、CPHモデルを最大限に活用できない。 CPHモデルの隠れ数学的構造を利用した代理関数の構築と最小化による新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-24T18:36:59Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
  サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。 我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-17T04:41:07Z)
• Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
  逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である 本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
  論文  参考訳（メタデータ） (2023-07-01T18:35:21Z)
• SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model [73.80068155830708]
  予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。 Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。 さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
  論文  参考訳（メタデータ） (2023-03-09T08:57:01Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Communication-Efficient Federated Linear and Deep Generalized Canonical Correlation Analysis [13.04301271535511]
  本研究は, 線形GCCAと深層GCCAの双方を対象とした, コミュニケーション効率のよいフェデレーション学習フレームワークを提案する。 実験により,提案アルゴリズムは精度と収束速度をほぼ損なうことなく,通信オーバーヘッドを大幅に低減できることを示した。
  論文  参考訳（メタデータ） (2021-09-25T16:43:10Z)
• Spike and slab Bayesian sparse principal component analysis [0.6599344783327054]
  本稿では,パラメータ拡張座標の漸近変動推論(PX-CAVI)アルゴリズムを提案する。 PX-CAVIアルゴリズムは2つのSPCA手法より優れていることを示す。 このアルゴリズムは肺がん遺伝子発現データセットの研究に応用される。
  論文  参考訳（メタデータ） (2021-01-30T20:28:30Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• Adversarial Canonical Correlation Analysis [0.0]
  標準相関解析(CCA)は、複数のデータソースやビューから共通情報を抽出する手法である。 最近の研究は、深層学習におけるCCA確率的足場を与えている。 あるいは、逆法はオートエンコーダにおける変分ベイズ法に代わる強力な代替手段として生まれてきた。
  論文  参考訳（メタデータ） (2020-05-20T20:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。