論文の概要: Meta Sparse Principal Component Analysis

• arxiv url: http://arxiv.org/abs/2208.08938v2
• Date: Fri, 19 Aug 2022 10:28:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-22 16:49:22.380907
• Title: Meta Sparse Principal Component Analysis
• Title（参考訳）: メタスパース主成分分析
• Authors: Imon Banerjee and Jean Honorio
• Abstract要約: 高次元主成分分析における支援のためのメタラーニング(非零成分集合)について検討した。 補助的なタスクから学習した情報を用いて,新しいタスクにおける十分なサンプルの複雑さを低減する。
• 参考スコア（独自算出の注目度）: 31.403997435274604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the meta-learning for support (i.e. the set of non-zero entries) recovery in high-dimensional Principal Component Analysis. We reduce the sufficient sample complexity in a novel task with the information that is learned from auxiliary tasks. We assume each task to be a different random Principal Component (PC) matrix with a possibly different support and that the support union of the PC matrices is small. We then pool the data from all the tasks to execute an improper estimation of a single PC matrix by maximising the $l_1$-regularised predictive covariance to establish that with high probability the true support union can be recovered provided a sufficient number of tasks $m$ and a sufficient number of samples $ O\left(\frac{\log(p)}{m}\right)$ for each task, for $p$-dimensional vectors. Then, for a novel task, we prove that the maximisation of the $l_1$-regularised predictive covariance with the additional constraint that the support is a subset of the estimated support union could reduce the sufficient sample complexity of successful support recovery to $O(\log |J|)$, where $J$ is the support union recovered from the auxiliary tasks. Typically, $|J|$ would be much less than $p$ for sparse matrices. Finally, we demonstrate the validity of our experiments through numerical simulations.
• Abstract（参考訳）: 高次元主成分分析において,支援のためのメタラーニング(非ゼロ要素の集合)について検討した。 補助タスクから学習した情報を用いて,新規タスクの十分なサンプル複雑性を低減する。 各タスクは、異なるサポートを持つ異なるランダム主成分(pc)マトリックスであると仮定し、pc行列の支持結合が小さいことを仮定する。 そして、すべてのタスクからデータをプールして、1つのpcマトリックスの不適切な推定を実行し、l_1$-regularized prediction covarianceを最大化することで、高い確率で真のサポートユニオンを復元できる、十分な数のタスク m$ と十分な数のサンプル $ o\left(\frac{\log(p)}{m}\right)$ が各タスクに対して $p$-dimensional ベクトルに対して与えられるようにする。 新たなタスクでは、$l_1$-regularized prediction covariance の最大化と、サポートが推定されたサポートユニオンのサブセットであるという追加の制約により、サポート回復に成功するサンプルの複雑さを$o(\log |j|)$ に減らすことが証明され、ここで$j$ は補助タスクから回復したサポートユニオンである。 通常、$|j|$ はスパース行列に対して $p$ 以下である。 最後に,数値シミュレーションによる実験の有効性を示す。

関連論文リスト

• Optimal level set estimation for non-parametric tournament and crowdsourcing problems [49.75262185577198]
  クラウドソーシングによって動機づけられた我々は、$d$の質問に対する$n$の専門家の回答の正しさを部分的に観察する問題を考える。 本稿では、専門家$i$が疑問に答える確率を含む行列$M$が、行と列の置換までの双等方性であることを仮定する。 我々は,この分類問題に対して最小限のアルゴリズムを最適に構築する。
  論文  参考訳（メタデータ） (2024-08-27T18:28:31Z)
• Meta Learning for High-dimensional Ising Model Selection Using $\ell_1$-regularized Logistic Regression [28.776950569604026]
  高次元イジングモデルに関連するグラフを推定するメタ学習問題を考察する。 我々のゴールは、新しいタスクの学習において補助的なタスクから学んだ情報を用いて、その十分なサンプルの複雑さを減らすことである。
  論文  参考訳（メタデータ） (2022-08-19T20:28:39Z)
• On the Power of Multitask Representation Learning in Linear MDP [61.58929164172968]
  本稿では,線形マルコフ決定過程(MDP)におけるマルチタスク表現学習の統計的メリットについて分析する。 簡単な最小二乗アルゴリズムが $tildeO(H2sqrtfrackappa MathcalC(Phi)2 kappa dNT+frackappa dn) というポリシーを学ぶことを証明した。
  論文  参考訳（メタデータ） (2021-06-15T11:21:06Z)
• Multiple Support Recovery Using Very Few Measurements Per Sample [33.20967869233738]
  我々は$mathbbRd$で複数のスパースサンプルの線形測定にアクセスできる。 これらのサンプルは$ell$グループに分割することができ、同じグループに属する同じサポートを持つサンプルがある。 サンプルあたりの$m$測定の予算について、その目標は、$ell$の基盤となるサポートを回復することである。
  論文  参考訳（メタデータ） (2021-05-20T16:02:27Z)
• Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
  低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。 定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。 MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
  論文  参考訳（メタデータ） (2021-05-18T06:46:48Z)
• Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
  ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。 我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-30T19:10:32Z)
• Sampling from a $k$-DPP without looking at all items [58.30573872035083]
  カーネル関数とサブセットサイズ$k$が与えられた場合、我々のゴールは、サブセットによって誘導されるカーネル行列の行列式に比例する確率を持つ$n$アイテムから$k$をサンプリングすることである(つまり$k$-DPP)。 既存の$k$-DPPサンプリングアルゴリズムは、すべての$n$アイテムを複数回パスする高価な前処理ステップを必要とするため、大規模なデータセットでは利用できない。 そこで我々は, 十分大きなデータの均一なサンプルを適応的に構築し, より小さな$k$のアイテムを効率よく生成するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-30T16:40:44Z)
• Meta Learning for Support Recovery in High-dimensional Precision Matrix Estimation [31.41834200409171]
  高次元精度行列推定における支援のためのメタラーニング(非ゼロ成分の集合)について検討する。 我々の設定では、各タスクは異なるランダムな真の精度行列を持ち、それぞれが異なる可能性がある。 我々は,Omega(log N)/K)$$nのサンプル数に対して,一致する情報理論の下界を証明した。
  論文  参考訳（メタデータ） (2020-06-22T20:24:52Z)
• On the Theory of Transfer Learning: The Importance of Task Diversity [114.656572506859]
  一般的な関数クラス$mathcalF circ MathcalH$において、$f_j circ h$という形の関数によってパラメータ化される$t+1$タスクを考える。 多様なトレーニングタスクに対して、最初の$t$のトレーニングタスク間で共有表現を学ぶのに必要なサンプルの複雑さが、$C(mathcalH) + t C(mathcalF)$であることを示す。
  論文  参考訳（メタデータ） (2020-06-20T20:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。