論文の概要: An Inexact Manifold Augmented Lagrangian Method for Adaptive Sparse
Canonical Correlation Analysis with Trace Lasso Regularization
- arxiv url: http://arxiv.org/abs/2003.09195v1
- Date: Fri, 20 Mar 2020 10:57:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 23:02:42.879521
- Title: An Inexact Manifold Augmented Lagrangian Method for Adaptive Sparse
Canonical Correlation Analysis with Trace Lasso Regularization
- Title(参考訳): トレースラッソ正則化を用いた適応スパース正準相関解析のための余剰多様体拡張ラグランジアン法
- Authors: Kangkang Deng and Zheng Peng
- Abstract要約: 正準相関解析(CCA)は2つの変数間の関係を記述している。
変数数がサンプルサイズを超えるような高次元の設定や、変数が高い相関関係にある場合、従来のCAAはもはや適切ではない。
トレースラッソ正則化を用いてCAA(ASCCA)の適応スパース版を提案する。
- 参考スコア(独自算出の注目度): 1.2335698325757491
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Canonical correlation analysis (CCA for short) describes the relationship
between two sets of variables by finding some linear combinations of these
variables that maximizing the correlation coefficient. However, in
high-dimensional settings where the number of variables exceeds sample size, or
in the case of that the variables are highly correlated, the traditional CCA is
no longer appropriate. In this paper, an adaptive sparse version of CCA (ASCCA
for short) is proposed by using the trace Lasso regularization. The proposed
ASCCA reduces the instability of the estimator when the covariates are highly
correlated, and thus improves its interpretation. The ASCCA is further
reformulated to an optimization problem on Riemannian manifolds, and an
manifold inexact augmented Lagrangian method is then proposed for the resulting
optimization problem. The performance of the ASCCA is compared with the other
sparse CCA techniques in different simulation settings, which illustrates that
the ASCCA is feasible and efficient.
- Abstract(参考訳): 正準相関解析(英: canonical correlation analysis、略称cca)は、相関係数を最大化する変数の線形結合を見つけることによって、2つの変数の関係を記述する。
しかし、変数数がサンプルサイズを超えるような高次元の設定や、変数が高い相関関係にある場合、従来のCAAはもはや適切ではない。
本稿では, トレースラッソ正規化を用いて, CCAの適応スパース版(略してASCCA)を提案する。
提案したASCCAは,共変量と高い相関関係にある場合の推定器の不安定性を低減し,その解釈を改善する。
さらに、ASCCAはリーマン多様体上の最適化問題に再構成され、その結果の最適化問題に対して、多様体が不正確な拡張ラグランジアン法が提案される。
ASCCAの性能は、異なるシミュレーション設定における他のスパースCA技術と比較され、ASCCAが実現可能で効率的であることを示す。
関連論文リスト
- Joint State Estimation and Noise Identification Based on Variational
Optimization [8.536356569523127]
CVIAKFと呼ばれる共役計算変分推論に基づく新しい適応カルマンフィルタ法を提案する。
CVIAKFの有効性は、目標追尾のための合成および実世界のデータセットを通して検証される。
論文 参考訳(メタデータ) (2023-12-15T07:47:03Z) - CoLiDE: Concomitant Linear DAG Estimation [12.415463205960156]
観測データから線形方程式への非巡回グラフ構造学習の問題に対処する。
本稿では,空間認識学習DAGのための新しい凸スコア関数を提案する。
論文 参考訳(メタデータ) (2023-10-04T15:32:27Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳(メタデータ) (2022-10-08T08:26:22Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Sliced gradient-enhanced Kriging for high-dimensional function
approximation [2.8228516010000617]
Gradient-enhanced Kriging (GE-Kriging)は、高価な計算モデルを近似するために確立されたサロゲートモデリング技術である。
固有相関行列のサイズのため、高次元問題に対して実用的でない傾向にある。
SGE-Kriging (Sliced GE-Kriging, SGE-Kriging) と呼ばれる新しい手法を開発し, 相関行列のサイズを小さくする。
その結果,SGE-Krigingモデルでは,標準モデルに匹敵する精度と堅牢性を特徴とするが,トレーニングコストの低減が図られた。
論文 参考訳(メタデータ) (2022-04-05T07:27:14Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth
Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。
定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。
我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
論文 参考訳(メタデータ) (2021-06-30T18:32:46Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - $\ell_0$-based Sparse Canonical Correlation Analysis [7.073210405344709]
正準相関解析(CCA)モデルは、2つの変数の集合間の関連を研究する上で強力である。
その成功にもかかわらず、CCAモデルは、いずれかのモダリティにおける変数数がサンプル数を超えた場合、壊れる可能性がある。
本稿では,2つのモードのスパース部分集合に基づく相関表現の学習法である $ell_0$-CCA を提案する。
論文 参考訳(メタデータ) (2020-10-12T11:44:15Z) - Gaussian Process Models with Low-Rank Correlation Matrices for Both
Continuous and Categorical Inputs [0.0]
混合連続および分類ガウス過程モデルにおけるクロス相関行列の低ランク近似を用いた手法を提案する。
低ランク相関(LRC)は、近似の適切なランクを選択することで、問題のパラメータの数に柔軟に適応する能力を提供する。
論文 参考訳(メタデータ) (2020-10-06T09:38:35Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。