論文の概要: Learning single-index models via harmonic decomposition

• arxiv url: http://arxiv.org/abs/2506.09887v1
• Date: Wed, 11 Jun 2025 15:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:03.11383
• Title: Learning single-index models via harmonic decomposition
• Title（参考訳）: 調和分解による単一インデックスモデルの学習
• Authors: Nirmit Joshi, Hugo Koubbi, Theodor Misiakiewicz, Nathan Srebro,
• Abstract要約: シングルインデックスモデルの学習問題について検討し、mathbbR$のラベルは未知の1次元射影を通してのみbbRd$の入力 $boldsymbolx に依存する。 展開とオンラインSGDに基づく2種類の推定器を導入し、それぞれが最適な複雑性または最適なランタイムを達成する。
• 参考スコア（独自算出の注目度）: 22.919597674245612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of learning single-index models, where the label $y \in \mathbb{R}$ depends on the input $\boldsymbol{x} \in \mathbb{R}^d$ only through an unknown one-dimensional projection $\langle \boldsymbol{w}_*,\boldsymbol{x}\rangle$. Prior work has shown that under Gaussian inputs, the statistical and computational complexity of recovering $\boldsymbol{w}_*$ is governed by the Hermite expansion of the link function. In this paper, we propose a new perspective: we argue that "spherical harmonics" -- rather than "Hermite polynomials" -- provide the natural basis for this problem, as they capture its intrinsic "rotational symmetry". Building on this insight, we characterize the complexity of learning single-index models under arbitrary spherically symmetric input distributions. We introduce two families of estimators -- based on tensor unfolding and online SGD -- that respectively achieve either optimal sample complexity or optimal runtime, and argue that estimators achieving both may not exist in general. When specialized to Gaussian inputs, our theory not only recovers and clarifies existing results but also reveals new phenomena that had previously been overlooked.
• Abstract（参考訳）: シングルインデックスモデルを学習する問題について研究し、ラベル $y \in \mathbb{R}$ は入力 $\boldsymbol{x} \in \mathbb{R}^d$ にのみ依存するが、未知の一次元射影 $\langle \boldsymbol{w}_*,\boldsymbol{x}\rangle$ にのみ依存する。 ガウスの入力の下では、$\boldsymbol{w}_*$を回復する統計的および計算的な複雑さは、リンク関数のエルミート展開によって支配される。 本稿では、「ハーマイト多項式」ではなく「球面調和」が、本質的な「回転対称性」を捉えることによって、この問題の自然な基礎となることを論じる。 この知見に基づいて、任意の球対称入力分布下での単一インデックスモデル学習の複雑さを特徴付ける。 テンソル展開とオンラインSGDに基づく2種類の推定器を導入し、それぞれ最適なサンプル複雑性または最適なランタイムを達成する。 ガウスの入力に特化する場合、我々の理論は既存の結果を回復し、解明するだけでなく、これまで見落とされた新しい現象も明らかにする。

関連論文リスト

• The Generative Leap: Sharp Sample Complexity for Efficiently Learning Gaussian Multi-Index Models [71.5283441529015]
  この研究において、ラベルは(ガウス)$d$-次元入力にのみ依存し、低次元$r = O_d(1)$部分空間への射影を通して得られる。 生成的跳躍指数 $kstar$, [Damian et al.'24] から生成的指数の自然拡張をマルチインデックス設定に導入する。
  論文  参考訳（メタデータ） (2025-06-05T18:34:56Z)
• Joint Learning in the Gaussian Single Index Model [6.3151583550712065]
  高次元ガウスモデルにおける一次元射影と一次元関数を共同学習する問題を考察する。 解析の結果,初期方向が目標と負に相関している場合でも収束は依然として起こることがわかった。 実用面では、この問題の構造に適応した再生ヒルベルトカーネル空間を用いて、このような共同学習を効果的に実施できることを実証する。
  論文  参考訳（メタデータ） (2025-05-27T15:30:34Z)
• Towards a Sharp Analysis of Offline Policy Learning for $f$-Divergence-Regularized Contextual Bandits [49.96531901205305]
  我々は$f$-divergence-regularized offline policy learningを分析する。 逆Kullback-Leibler (KL) の発散に対して、単極集中性の下での最初の$tildeO(epsilon-1)$サンプル複雑性を与える。 これらの結果は,$f$-divergence-regularized policy learningの包括的理解に向けて大きな一歩を踏み出したものと考えられる。
  論文  参考訳（メタデータ） (2025-02-09T22:14:45Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• On Single Index Models beyond Gaussian Data [45.875461749455994]
  緩やかな高次元関数は、勾配-蛍光法の振舞いを研究するための豊富な枠組みとして生まれてきた。 この研究では、安定性と対称性の両方に反する可能性のあるガウス的な設定を超えて、この図の拡張を探求する。 本研究の主な成果は,高次元状態下での未知方向$theta*$を効率よく回収できることである。
  論文  参考訳（メタデータ） (2023-07-28T20:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。