Fugu-MT 論文翻訳(概要): Symmetry-Aware Feature Learning: A Polynomial Separation for Multi-Index Models

論文の概要: Symmetry-Aware Feature Learning: A Polynomial Separation for Multi-Index Models

arxiv url: http://arxiv.org/abs/2610.08420v1
Date: Tue, 06 Oct 2026 14:23:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 02:58:30.03954
Title: Symmetry-Aware Feature Learning: A Polynomial Separation for Multi-Index Models
Title（参考訳）: 対称性を考慮した特徴学習:多次元モデルのための多項式分離
Abstract要約: 我々は,対称性認識と対称性認識的特徴学習の複雑性分離を行う。この構造を利用する3つの方法を比較する。アーキテクチャの重み付け、全対称性群上のデータ拡張、対称性へのアクセスなしの学習である。
参考スコア（独自算出の注目度）: 17.912284251746332
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We establish a polynomial sample complexity separation between symmetry-aware and symmetry-agnostic feature learning. We study growing-rank multi-index models with high-dimensional Gaussian covariates in $\mathbb{R}^d$ and $r=Θ(d^δ)$ teacher directions forming a cyclic symmetry orbit, where $0<δ<1/2$. We compare three ways of exploiting this structure: architectural weight sharing, data augmentation over the full symmetry group, and learning without access to the symmetry. In particular, we analyze a symmetry-tied convolutional network, an untied network, and the same untied network trained with full-group data augmentation, using spherical online SGD with correlation loss. For a class of polynomial links with information exponent $p\ge3$, we prove matching sample complexity bounds up to logarithmic factors: the tied and augmented learners achieve weak directional recovery in $\widetildeΘ(d^{p-1})$ samples, whereas the symmetry-agnostic learner requires $\widetildeΘ(rd^{p-1})$. For the pure quadratic Hermite link, the same separation holds for weak recovery of the teacher subspace, with sample complexities $\widetildeΘ(d)$ and $\widetildeΘ(rd)$, respectively. Thus, full-group data augmentation matches the sample efficiency of architectural weight sharing, and both provide a polynomial advantage over training without symmetry. For $p\ge3$, the proof reveals a two-stage mechanism: fluctuations at initialization select one direction in the teacher orbit, after which localized growth amplifies its overlap to the weak recovery scale while competing overlaps remain near their initialization scale.
Abstract（参考訳）: 我々は,対称性認識と対称性認識的特徴学習の多項式サンプル複雑性分離を確立する。高次元ガウス共変量を持つ高次マルチインデックスモデルを$\mathbb{R}^d$ と $r=\(d^δ)$ の教師方向で、0<δ<1/2$ の巡回対称性軌道を形成する。この構造を利用する3つの方法を比較する。アーキテクチャの重み付け、全対称性群上のデータ拡張、対称性へのアクセスのない学習である。特に, 相関損失のある球面オンラインSGDを用いて, 対称性に富む畳み込みネットワーク, 非張力ネットワーク, およびフルグループデータ拡張で訓練された同じ非張力ネットワークを解析した。情報指数 $p\ge3$ の多項式リンクのクラスでは、一致したサンプルの複雑性が対数的因子に束縛されていることを証明している: 連結および拡張学習者は、$\widetilde(d^{p-1})$サンプルにおいて弱い方向回復を達成するのに対し、対称性に依存しない学習者は$\widetilde(rd^{p-1})$である。純粋な二次エルミート結合について、同じ分離は教師部分空間の弱回復を保ち、サンプル複素数は $\widetilde(d)$ と $\widetilde(rd)$ である。したがって、全群データ拡張はアーキテクチャの重量共有のサンプル効率と一致し、どちらも対称性のないトレーニングよりも多項式の優位性を提供する。初期化時の揺らぎは教師軌道の1つの方向を選択し、その後、局所的な成長はその重なりを弱い回復スケールに増幅し、競合する重なりは初期化スケールの近くに留まる。

論文の概要: Symmetry-Aware Feature Learning: A Polynomial Separation for Multi-Index Models

関連論文リスト