論文の概要: On Single Index Models beyond Gaussian Data
- arxiv url: http://arxiv.org/abs/2307.15804v2
- Date: Wed, 25 Oct 2023 15:57:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-10-26 20:12:17.460871
- Title: On Single Index Models beyond Gaussian Data
- Title（参考訳）: ガウスデータを超えた単一指数モデルについて
- Authors: Joan Bruna, Loucas Pillaud-Vivien and Aaron Zweig
- Abstract要約: 緩やかな高次元関数は、勾配-蛍光法の振舞いを研究するための豊富な枠組みとして生まれてきた。
この研究では、安定性と対称性の両方に反する可能性のあるガウス的な設定を超えて、この図の拡張を探求する。
本研究の主な成果は,高次元状態下での未知方向$theta*$を効率よく回収できることである。
- 参考スコア（独自算出の注目度）: 45.875461749455994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse high-dimensional functions have arisen as a rich framework to study
the behavior of gradient-descent methods using shallow neural networks,
showcasing their ability to perform feature learning beyond linear models.
Amongst those functions, the simplest are single-index models $f(x) = \phi( x
\cdot \theta^*)$, where the labels are generated by an arbitrary non-linear
scalar link function $\phi$ applied to an unknown one-dimensional projection
$\theta^*$ of the input data. By focusing on Gaussian data, several recent
works have built a remarkable picture, where the so-called information exponent
(related to the regularity of the link function) controls the required sample
complexity. In essence, these tools exploit the stability and spherical
symmetry of Gaussian distributions. In this work, building from the framework
of \cite{arous2020online}, we explore extensions of this picture beyond the
Gaussian setting, where both stability or symmetry might be violated. Focusing
on the planted setting where $\phi$ is known, our main results establish that
Stochastic Gradient Descent can efficiently recover the unknown direction
$\theta^*$ in the high-dimensional regime, under assumptions that extend
previous works \cite{yehudai2020learning,wu2022learning}.
- Abstract（参考訳）: 細かな高次元関数は、浅層ニューラルネットワークを用いて勾配差法の振る舞いを研究するためのリッチなフレームワークとして生まれ、線形モデルを超えて特徴学習を行う能力を示している。
最も単純な関数は単射モデル $f(x) = \phi(x \cdot \theta^*)$ であり、入力データの未知の1次元射影に対して任意の非線形スカラーリンク関数 $\phi$ によってラベルが生成される。
ガウスデータに焦点を合わせることで、最近のいくつかの研究は、いわゆる情報指数(リンク関数の正規性に関連する)が必要なサンプル複雑性を制御する、驚くべき図を構築した。
本質的にこれらのツールはガウス分布の安定性と球対称を利用する。
本研究は, \cite{arous2020online} の枠組みに基づいて,安定性と対称性の両方に違反するガウス集合を超えて,この図の拡張を考察する。
本研究の主な成果は,Stochastic Gradient Descent が未知の方向を高次元の状態で効率よく復元できることを,従来の作品であるcite{yehudai2020learning,wu2022learning} を拡張した仮定に基づいて明らかにした。
関連論文リスト
- Extended convexity and smoothness and their applications in deep learning [0.0]
本稿では,非完全に理解された勾配と強い凸性に対する$mathcal$H$smoothnessアルゴリズムを提案する。
提案手法の有効性を実験により検証した。
論文 参考訳（メタデータ） (2024-10-08T08:40:07Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。
低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
論文 参考訳（メタデータ） (2023-10-30T17:55:28Z) - Symmetric Single Index Learning [46.7352578439663]
1つの一般的なモデルはシングルインデックスモデルであり、ラベルは未知のリンク関数を持つ未知の線形射影によって生成される。
我々は、対称ニューラルネットワークの設定において、単一インデックス学習を検討する。
論文 参考訳（メタデータ） (2023-10-03T14:59:00Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳（メタデータ） (2023-09-07T16:55:50Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-06-15T08:25:50Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。