論文の概要: $\ell_0$-based Sparse Canonical Correlation Analysis

• arxiv url: http://arxiv.org/abs/2010.05620v2
• Date: Tue, 8 Jun 2021 14:47:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:05:11.501850
• Title: $\ell_0$-based Sparse Canonical Correlation Analysis
• Title（参考訳）: $\ell_0$ベースのスパース正準相関解析
• Authors: Ofir Lindenbaum, Moshe Salhov, Amir Averbuch, Yuval Kluger
• Abstract要約: 正準相関解析(CCA)モデルは、2つの変数の集合間の関連を研究する上で強力である。 その成功にもかかわらず、CCAモデルは、いずれかのモダリティにおける変数数がサンプル数を超えた場合、壊れる可能性がある。 本稿では,2つのモードのスパース部分集合に基づく相関表現の学習法である $ell_0$-CCA を提案する。
• 参考スコア（独自算出の注目度）: 7.073210405344709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Canonical Correlation Analysis (CCA) models are powerful for studying the associations between two sets of variables. The canonically correlated representations, termed \textit{canonical variates} are widely used in unsupervised learning to analyze unlabeled multi-modal registered datasets. Despite their success, CCA models may break (or overfit) if the number of variables in either of the modalities exceeds the number of samples. Moreover, often a significant fraction of the variables measures modality-specific information, and thus removing them is beneficial for identifying the \textit{canonically correlated variates}. Here, we propose $\ell_0$-CCA, a method for learning correlated representations based on sparse subsets of variables from two observed modalities. Sparsity is obtained by multiplying the input variables by stochastic gates, whose parameters are learned together with the CCA weights via an $\ell_0$-regularized correlation loss. We further propose $\ell_0$-Deep CCA for solving the problem of non-linear sparse CCA by modeling the correlated representations using deep nets. We demonstrate the efficacy of the method using several synthetic and real examples. Most notably, by gating nuisance input variables, our approach improves the extracted representations compared to other linear, non-linear and sparse CCA-based models.
• Abstract（参考訳）: 正準相関解析(CCA)モデルは、2つの変数の集合間の関連を研究する上で強力である。 正準相関表現は \textit{canonical variates} と呼ばれ、教師なし学習で広く使われ、ラベルなしのマルチモーダル登録データセットを分析する。 その成功にもかかわらず、CCAモデルは、いずれかのモダリティにおける変数数がサンプル数を超えた場合(または過度に適合する)に壊れることがある。 さらに、変数のかなりの割合は、モダリティ固有の情報を測定するため、それらを取り除くことは、 \textit{canonically correlation variates} を特定するのに有用である。 本稿では,2つの観測モードから変数のスパース部分集合に基づく相関表現の学習法である$\ell_0$-CCAを提案する。 パラメーターは$\ell_0$-regularized correlation lossを介してcca重みとともに学習される確率ゲートによって入力変数を乗じることで得られる。 さらに、ディープネットを用いて相関表現をモデル化することにより、非線形スパースCCAの問題を解決するための$\ell_0$-deep CCAを提案する。 本手法は,いくつかの合成および実例を用いて有効性を示す。 最も顕著なのは、ニュアンス入力変数のゲーティングにより、他の線形、非線形、スパースCCAモデルと比較して抽出された表現を改善することである。

関連論文リスト

• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• $\ell_1$-norm constrained multi-block sparse canonical correlation analysis via proximal gradient descent [0.0]
  マルチブロックCCA問題を解くための近似勾配降下アルゴリズムを提案する。 得られた推定値は、適切な仮定の下では、レート最適であることが示される。 また,複数の固有ベクトルを逐次推定するデフレ手順についても述べる。
  論文  参考訳（メタデータ） (2022-01-14T03:35:01Z)
• CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
  本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。 CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。 我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-26T20:14:30Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Grouping effects of sparse CCA models in variable selection [6.196334136139173]
  可変選択における標準および単純化されたSCCAモデルのグルーピング効果を解析する。 我々の理論的分析は、群付き変数選択の場合、単純化されたSCCAが一緒に変数群を選択または選択することを示している。
  論文  参考訳（メタデータ） (2020-08-07T22:27:31Z)
• Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach [18.93565942407577]
  Sparse Canonical correlation analysis (CCA) はスパース構造を用いた潜伏情報検出に有用な統計ツールである。 本稿では,多視点データとスパース構造との潜在関係を検出可能な一般標準相関解析(GCCA)を提案する。
  論文  参考訳（メタデータ） (2020-04-23T05:53:48Z)
• An Inexact Manifold Augmented Lagrangian Method for Adaptive Sparse Canonical Correlation Analysis with Trace Lasso Regularization [1.2335698325757491]
  正準相関解析(CCA)は2つの変数間の関係を記述している。 変数数がサンプルサイズを超えるような高次元の設定や、変数が高い相関関係にある場合、従来のCAAはもはや適切ではない。 トレースラッソ正則化を用いてCAA(ASCCA)の適応スパース版を提案する。
  論文  参考訳（メタデータ） (2020-03-20T10:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。