論文の概要: Joint Learning in the Gaussian Single Index Model
- arxiv url: http://arxiv.org/abs/2505.21336v1
- Date: Tue, 27 May 2025 15:30:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.761642
- Title: Joint Learning in the Gaussian Single Index Model
- Title（参考訳）: ガウス指標モデルにおける共同学習
- Authors: Loucas Pillaud-Vivien, Adrien Schertzer,
- Abstract要約: 高次元ガウスモデルにおける一次元射影と一次元関数を共同学習する問題を考察する。
解析の結果,初期方向が目標と負に相関している場合でも収束は依然として起こることがわかった。
実用面では、この問題の構造に適応した再生ヒルベルトカーネル空間を用いて、このような共同学習を効果的に実施できることを実証する。
- 参考スコア（独自算出の注目度）: 6.3151583550712065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of jointly learning a one-dimensional projection and a univariate function in high-dimensional Gaussian models. Specifically, we study predictors of the form $f(x)=\varphi^\star(\langle w^\star, x \rangle)$, where both the direction $w^\star \in \mathcal{S}_{d-1}$, the sphere of $\mathbb{R}^d$, and the function $\varphi^\star: \mathbb{R} \to \mathbb{R}$ are learned from Gaussian data. This setting captures a fundamental non-convex problem at the intersection of representation learning and nonlinear regression. We analyze the gradient flow dynamics of a natural alternating scheme and prove convergence, with a rate controlled by the information exponent reflecting the \textit{Gaussian regularity} of the function $\varphi^\star$. Strikingly, our analysis shows that convergence still occurs even when the initial direction is negatively correlated with the target. On the practical side, we demonstrate that such joint learning can be effectively implemented using a Reproducing Kernel Hilbert Space (RKHS) adapted to the structure of the problem, enabling efficient and flexible estimation of the univariate function. Our results offer both theoretical insight and practical methodology for learning low-dimensional structure in high-dimensional settings.
- Abstract（参考訳）: 高次元ガウスモデルにおける一次元射影と単変数関数を共同学習する問題を考察する。
具体的には、$f(x)=\varphi^\star(\langle w^\star, x \rangle)$, $w^\star \in \mathcal{S}_{d-1}$, $\mathbb{R}^d$, and the function $\varphi^\star: \mathbb{R} \to \mathbb{R}$の予測子はガウスデータから学習される。
この設定は、表現学習と非線形回帰の交点における基本的な非凸問題を捉えている。
自然交替スキームの勾配流のダイナミクスを解析し収束を証明し、関数 $\varphi^\star$ の \textit{Gaussian regularity} を反映する情報指数によって制御される速度を推定する。
解析の結果,初期方向が目標と負の相関関係にある場合でも,収束は依然として生じていることがわかった。
実用面では、そのような共同学習を、問題の構造に適応した再生カーネルヒルベルト空間(RKHS)を用いて効果的に実施できることを示し、一変量関数の効率的かつ柔軟な推定を可能にした。
この結果は,高次元環境下での低次元構造学習のための理論的知見と実践的方法論の両方を提供する。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - On Single Index Models beyond Gaussian Data [45.875461749455994]
緩やかな高次元関数は、勾配-蛍光法の振舞いを研究するための豊富な枠組みとして生まれてきた。
この研究では、安定性と対称性の両方に反する可能性のあるガウス的な設定を超えて、この図の拡張を探求する。
本研究の主な成果は,高次元状態下での未知方向$theta*$を効率よく回収できることである。
論文 参考訳（メタデータ） (2023-07-28T20:52:22Z) - MOCK: an Algorithm for Learning Nonparametric Differential Equations via Multivariate Occupation Kernel Functions [0.6030884970981525]
d$次元状態空間の軌跡から得られる通常の微分方程式の非パラメトリック系は、$d$変数の$d$関数を学ぶ必要がある。
明示的な定式化はしばしば、スパーシティや対称性といったシステム特性に関する追加の知識が得られない限り、$d$で2次的にスケールする。
本稿では,ベクトル値を持つカーネルヒルベルト空間から得られる暗黙の定式化を用いて,線形アプローチ,多変量占有カーネル法(MOCK)を提案する。
論文 参考訳（メタデータ） (2023-06-16T21:49:36Z) - Multiscale regression on unknown manifolds [13.752772802705978]
マルチスケールで$mathcalM$に低次元座標を構築し、ローカルフィッティングによるマルチスケール回帰を行います。
本手法の一般化誤差を,事前のリッチクラス上で高い確率で有限サンプル境界を証明することによって解析する。
私たちのアルゴリズムは、サンプルサイズの準線形複雑性を持ち、定数は$D$で、指数は$d$です。
論文 参考訳（メタデータ） (2021-01-13T15:14:31Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-06-15T08:25:50Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。