論文の概要: On Single Index Models beyond Gaussian Data
- arxiv url: http://arxiv.org/abs/2307.15804v2
- Date: Wed, 25 Oct 2023 15:57:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-10-26 20:12:17.460871
- Title: On Single Index Models beyond Gaussian Data
- Title（参考訳）: ガウスデータを超えた単一指数モデルについて
- Authors: Joan Bruna, Loucas Pillaud-Vivien and Aaron Zweig
- Abstract要約: 緩やかな高次元関数は、勾配-蛍光法の振舞いを研究するための豊富な枠組みとして生まれてきた。
この研究では、安定性と対称性の両方に反する可能性のあるガウス的な設定を超えて、この図の拡張を探求する。
本研究の主な成果は,高次元状態下での未知方向$theta*$を効率よく回収できることである。
- 参考スコア（独自算出の注目度）: 45.875461749455994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse high-dimensional functions have arisen as a rich framework to study
the behavior of gradient-descent methods using shallow neural networks,
showcasing their ability to perform feature learning beyond linear models.
Amongst those functions, the simplest are single-index models $f(x) = \phi( x
\cdot \theta^*)$, where the labels are generated by an arbitrary non-linear
scalar link function $\phi$ applied to an unknown one-dimensional projection
$\theta^*$ of the input data. By focusing on Gaussian data, several recent
works have built a remarkable picture, where the so-called information exponent
(related to the regularity of the link function) controls the required sample
complexity. In essence, these tools exploit the stability and spherical
symmetry of Gaussian distributions. In this work, building from the framework
of \cite{arous2020online}, we explore extensions of this picture beyond the
Gaussian setting, where both stability or symmetry might be violated. Focusing
on the planted setting where $\phi$ is known, our main results establish that
Stochastic Gradient Descent can efficiently recover the unknown direction
$\theta^*$ in the high-dimensional regime, under assumptions that extend
previous works \cite{yehudai2020learning,wu2022learning}.
- Abstract（参考訳）: 細かな高次元関数は、浅層ニューラルネットワークを用いて勾配差法の振る舞いを研究するためのリッチなフレームワークとして生まれ、線形モデルを超えて特徴学習を行う能力を示している。
最も単純な関数は単射モデル $f(x) = \phi(x \cdot \theta^*)$ であり、入力データの未知の1次元射影に対して任意の非線形スカラーリンク関数 $\phi$ によってラベルが生成される。
ガウスデータに焦点を合わせることで、最近のいくつかの研究は、いわゆる情報指数(リンク関数の正規性に関連する)が必要なサンプル複雑性を制御する、驚くべき図を構築した。
本質的にこれらのツールはガウス分布の安定性と球対称を利用する。
本研究は, \cite{arous2020online} の枠組みに基づいて,安定性と対称性の両方に違反するガウス集合を超えて,この図の拡張を考察する。
本研究の主な成果は,Stochastic Gradient Descent が未知の方向を高次元の状態で効率よく復元できることを,従来の作品であるcite{yehudai2020learning,wu2022learning} を拡張した仮定に基づいて明らかにした。
関連論文リスト
- Learning quadratic neural networks in high dimensions: SGD dynamics and scaling laws [21.18373933718468]
高次元状態における二次活性化関数を持つ2層ニューラルネットワークの勾配に基づくトレーニングの最適化とサンプル複雑性について検討する。
本稿では,特徴学習体制における動態の急激な解析を行い,人口制限と有限サンプルの離散化について述べる。
論文 参考訳（メタデータ） (2025-08-05T17:57:56Z) - Learning single-index models via harmonic decomposition [22.919597674245612]
シングルインデックスモデルの学習問題について検討し、mathbbR$のラベルは未知の1次元射影を通してのみbbRd$の入力 $boldsymbolx に依存する。
展開とオンラインSGDに基づく2種類の推定器を導入し、それぞれが最適な複雑性または最適なランタイムを達成する。
論文 参考訳（メタデータ） (2025-06-11T15:59:53Z) - Joint Learning in the Gaussian Single Index Model [6.3151583550712065]
高次元ガウスモデルにおける一次元射影と一次元関数を共同学習する問題を考察する。
解析の結果,初期方向が目標と負に相関している場合でも収束は依然として起こることがわかった。
実用面では、この問題の構造に適応した再生ヒルベルトカーネル空間を用いて、このような共同学習を効果的に実施できることを実証する。
論文 参考訳（メタデータ） (2025-05-27T15:30:34Z) - Extended convexity and smoothness and their applications in deep learning [0.0]
本稿では,非完全に理解された勾配と強い凸性に対する$mathcal$H$smoothnessアルゴリズムを提案する。
提案手法の有効性を実験により検証した。
論文 参考訳（メタデータ） (2024-10-08T08:40:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。
低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
論文 参考訳（メタデータ） (2023-10-30T17:55:28Z) - Symmetric Single Index Learning [46.7352578439663]
1つの一般的なモデルはシングルインデックスモデルであり、ラベルは未知のリンク関数を持つ未知の線形射影によって生成される。
我々は、対称ニューラルネットワークの設定において、単一インデックス学習を検討する。
論文 参考訳（メタデータ） (2023-10-03T14:59:00Z) - Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。
バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。
特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文 参考訳（メタデータ） (2023-09-07T16:55:50Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-06-15T08:25:50Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。