論文の概要: $O(k)$-Equivariant Dimensionality Reduction on Stiefel Manifolds
- arxiv url: http://arxiv.org/abs/2309.10775v1
- Date: Tue, 19 Sep 2023 17:21:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 13:25:02.641418
- Title: $O(k)$-Equivariant Dimensionality Reduction on Stiefel Manifolds
- Title(参考訳): スティーフェル多様体上の$O(k)$-等変次元性還元
- Authors: Andrew Lee, Harlin Lee, Jose A. Perea, Nikolas Schonsheck, Madeleine
Weinstein
- Abstract要約: 多くの実世界のデータセットは、高次元のスティーフェル多様体とグラスマン多様体に、それぞれ$V_k(mathbbRN)$と$Gr(k, mathbbRN)$で存在する。
我々は,PSC(Principal Stiefel Coordinates)と呼ばれるアルゴリズムを提案し,データ次元を$V_k(mathbbRN)$から$V_k(mathbbRN)$へ$O(k)$-equivariantな方法で還元する。
- 参考スコア(独自算出の注目度): 2.2334941294830095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many real-world datasets live on high-dimensional Stiefel and Grassmannian
manifolds, $V_k(\mathbb{R}^N)$ and $Gr(k, \mathbb{R}^N)$ respectively, and
benefit from projection onto lower-dimensional Stiefel (respectively,
Grassmannian) manifolds. In this work, we propose an algorithm called Principal
Stiefel Coordinates (PSC) to reduce data dimensionality from $
V_k(\mathbb{R}^N)$ to $V_k(\mathbb{R}^n)$ in an $O(k)$-equivariant manner ($k
\leq n \ll N$). We begin by observing that each element $\alpha \in
V_n(\mathbb{R}^N)$ defines an isometric embedding of $V_k(\mathbb{R}^n)$ into
$V_k(\mathbb{R}^N)$. Next, we optimize for such an embedding map that minimizes
data fit error by warm-starting with the output of principal component analysis
(PCA) and applying gradient descent. Then, we define a continuous and
$O(k)$-equivariant map $\pi_\alpha$ that acts as a ``closest point operator''
to project the data onto the image of $V_k(\mathbb{R}^n)$ in
$V_k(\mathbb{R}^N)$ under the embedding determined by $\alpha$, while
minimizing distortion. Because this dimensionality reduction is
$O(k)$-equivariant, these results extend to Grassmannian manifolds as well.
Lastly, we show that the PCA output globally minimizes projection error in a
noiseless setting, but that our algorithm achieves a meaningfully different and
improved outcome when the data does not lie exactly on the image of a linearly
embedded lower-dimensional Stiefel manifold as above. Multiple numerical
experiments using synthetic and real-world data are performed.
- Abstract(参考訳): 多くの実世界のデータセットは高次元スティーフェル多様体とグラスマン多様体上に存在し、それぞれ$v_k(\mathbb{r}^n)$と$gr(k, \mathbb{r}^n)$である。
本研究では,データ次元を$V_k(\mathbb{R}^N)$から$V_k(\mathbb{R}^n)$に減らし,$O(k)$-equivariant manner$k \leq n \ll N$から$V_k(\mathbb{R}^N)$に還元するアルゴリズムをPSC(Principal Stiefel Coordinates)と呼ぶ。
まず、各元 $\alpha \in V_n(\mathbb{R}^N)$ が $V_k(\mathbb{R}^n)$ から $V_k(\mathbb{R}^N)$ への等尺埋め込みを定義する。
次に、主成分分析(PCA)の出力と勾配降下を適用することで、データ適合誤差を最小限に抑えた埋め込みマップを最適化する。
次に、データを$v_k(\mathbb{r}^n)$ in $v_k(\mathbb{r}^n)$ in $v_k(\mathbb{r}^n)$ のイメージに投影するために ``closest point operator'' として作用する連続および$o(k)$-同変写像 $\pi_\alpha$ を定義する。
この次元還元は$O(k)$-同変であるため、これらの結果はグラスマン多様体にも拡張される。
最後に、pca出力はノイズのない設定で投影誤差をグローバルに最小化するが、上述のように線形埋め込みされた下次元スティフェル多様体の像にデータが正しく収まらない場合、このアルゴリズムは有意義に異なる改善結果が得られることを示す。
合成および実世界のデータを用いた複数の数値実験を行う。
関連論文リスト
- Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳(メタデータ) (2024-02-06T15:39:09Z) - Geometric structure of shallow neural networks and constructive
${\mathcal L}^2$ cost minimization [1.4050802766699084]
我々は位数$O(delta_P$)のコスト関数の最小値上の上限を証明する。
入力空間内の$Q$-次元部分空間を$overlinex_0,j$,$j=1,dots,Q$で割った$mathbb RM$とする。
論文 参考訳(メタデータ) (2023-09-19T07:12:41Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳(メタデータ) (2023-06-26T17:13:31Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳(メタデータ) (2022-06-17T17:55:43Z) - Deep Learning in High Dimension: Neural Network Approximation of
Analytic Functions in $L^2(\mathbb{R}^d,\gamma_d)$ [0.0]
解析関数 $f:mathbbRdtomathbbR$ の式率を $L2(mathbbRd,gamma_d)$ のノルムで証明する。
特に、整数 $kgeq 2$ に対する ReLU と ReLU$k$ のアクティベーションを考える。
対数ガウス確率場入力による楕円型PDEの応答面に対する深いReLU-NNの表現速度境界を証明した。
論文 参考訳(メタデータ) (2021-11-13T09:54:32Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳(メタデータ) (2021-10-05T09:33:49Z) - Non-Parametric Estimation of Manifolds from Noisy Data [1.0152838128195467]
ノイズの多いサンプルの有限集合から$mathbbRD$の$d$次元部分多様体を推定する問題を検討する。
点推定では$n-frack2k + d$、接空間の推定では$n-frack-12k + d$の収束率を推定する。
論文 参考訳(メタデータ) (2021-05-11T02:29:33Z) - Small Covers for Near-Zero Sets of Polynomials and Learning Latent
Variable Models [56.98280399449707]
我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。
構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
論文 参考訳(メタデータ) (2020-12-14T18:14:08Z) - Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。
本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。
スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文 参考訳(メタデータ) (2020-11-21T01:33:15Z) - Tree-Projected Gradient Descent for Estimating Gradient-Sparse
Parameters on Graphs [10.846572437131872]
mathbbRp$における勾配スパースパラメータの$boldsymboltheta*の推定について検討した。
損失に対する厳密な凸性および滑らかさの仮定が適切に制限されている場合、この推定器は、$G$とは独立な乗法定数までの2乗誤差リスク $fracs*n log (1+fracps*)$を達成する。
論文 参考訳(メタデータ) (2020-05-31T20:08:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。