論文の概要: The Multiscale Single-Index Model: A Stylized Model for Hierarchical Feature Learning
- arxiv url: http://arxiv.org/abs/2607.03347v1
- Date: Fri, 03 Jul 2026 14:02:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.596047
- Title: The Multiscale Single-Index Model: A Stylized Model for Hierarchical Feature Learning
- Title（参考訳）: マルチスケール単一インデックスモデル:階層的特徴学習のためのスティル化モデル
- Abstract要約: 我々は,マルチスケール単一インデックスモデル(MSIM)を,エンファンススケール分離を伴う階層学習のスタイリングモデルとみなす。
Wiener Edgeworth展開を用いたカオスのきめ細かい解析を行う。
相関対象のオンラインSGDでは,すべての層が同じ時間スケールで進化し,$n = widetildeO(dK-1)$サンプルで1-o_d(1)$リカバリを行い,線形のものと同一のサンプル複雑性を回復する。
- 参考スコア（独自算出の注目度）: 33.59654714700262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the Multiscale Single-Index Model (MSIM), first introduced in \cite{oymak2021learning}, as a stylized model for hierarchical learning with \emph{scale separation}. Each layer extracts a shared single-index feature at one physical scale and passes it to the next, thus defining a tractable setting in which to study how deep architectures learn multiscale representations. Under non-degeneracy and delocalization assumptions on the link function and planted features respectively, for fixed depth $K$ and local scale $d$, the first Wiener chaos of the target behaves as a perturbed spiked tensor, where the perturbation of order $d^{-1/2}$ comes from the non-linearity -- revealing the MSIM as a natural non-linear analogue of the Tensor PCA model \cite{montanari2014statistical}. While this perturbative picture is sufficient to enable efficient spectral recovery based on Tensor unfolding (as already observed in \cite{oymak2021learning}), it is not precise enough for the analysis of backpropagation gradient-based methods. In this work, we address this limitation by performing a fine-grained analysis of the Wiener chaos using Edgeworth expansions. In the first chaos, this gives a finite-rank hierarchy at scales $d^{-q/2}$. In higher chaoses, balanced flattenings exhibit staircase singular-value plateaus of size $d^{-ρ/2}$ and multiplicity $d^ρ$ under a natural higher-chaos non-cancellation condition. Using this higher-chaos structure, and under an additional slow Hermite-energy tail condition, we first establish shallow-network approximation lower bounds, quantifying the benefit of depth in this model. Next, and most importantly, we prove that online SGD on the correlation objective, where all layers evolve in the same timescale, achieves $1 - o_d(1)$ recovery with $n = \widetilde{O}( d^{K-1})$ samples, recovering the same sample complexity as in the linear counterpart.
- Abstract（参考訳）: We consider the Multiscale Single-Index Model (MSIM, first introduced in \cite{oymak2021learning}, as stylized model forhierarchical learning with \emph{scale separation}。
各レイヤは、ひとつの物理スケールで共有された単一インデックス機能を抽出し、それを次に渡すことで、ディープアーキテクチャがマルチスケール表現をどのように学習するかを研究するための、抽出可能な設定を定義する。
固定深度$K$と局所スケール$d$では、固定深度$K$と局所スケール$d$に対して、ターゲットの最初のウィナーカオスは摂動スパイクテンソルとして振る舞う。
この摂動図は、テンソル展開に基づく効率的なスペクトル回復を可能にするのに十分であるが(すでに \cite{oymak2021learning} で見られるように)、バックプロパゲーション勾配に基づく解析には十分ではない。
本研究では、エッジワース展開を用いたウィナーカオスのきめ細かい解析を行うことにより、この制限に対処する。
最初のカオスでは、これはスケールが$d^{-q/2}$の有限ランク階層を与える。
高いカオスでは、バランスの取れた平坦化は、自然の高カオスな非キャンセル条件の下で、階段の特異値台座が$d^{-ρ/2}$で、多重度が$d^ρ$であることを示す。
この高カオス構造を用い,Hermite-Eergytail条件を付加することにより,まず浅層ネットワーク近似の下界を確立し,このモデルにおける深さの利点を定量化する。
次に、最も重要なのは、すべての層が同じ時間スケールで進化する相関目的のオンラインSGDが、$n = \widetilde{O}(d^{K-1})$サンプルで1 - o_d(1)$リカバリを達成し、線形の値と同じサンプル複雑性を回復することである。
関連論文リスト
- Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。
Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
論文 参考訳（メタデータ） (2026-05-26T02:48:34Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Scale-Invariant Neural Network Optimization: Norm Geometry and Heavy-Tailed Noise [12.977441534320041]
スペクトルノルムを持つスケール不変の1次法は$(minm, n-frac3p-2p-1)の呼び出しを必要とすることを示す。
我々は、標準がスペクトルであり、ヘシアンがリプシッツであるとき、バッチ法が$(minm, n-frac5p2p-2p-2)$のマッチング境界を達成することを証明した。
論文 参考訳（メタデータ） (2026-05-18T15:13:18Z) - How to Scale Mixture-of-Experts: From muP to the Maximally Scale-Stable Parameterization [45.69980208532521]
3つの異なるスケーリング体制を解析することで、このギャップを解決するための原則的な一歩を踏み出します。
各体制に対して,MoEsの制限的トレーニング力学に関する新しい力学平均場理論(DMFT)を考案する。
結果として生じる$Pの処方は、スケールや頑健な学習速度の移動による単調な改善を確実に引き起こさないことを示す。
論文 参考訳（メタデータ） (2026-05-13T23:32:00Z) - Minimax Rates for Hyperbolic Hierarchical Learning [3.3192479135000426]
階層データから学習するためのユークリッド表現と双曲表現の指数関数的分離を証明した。
任意のランク-$k$予測空間は、O(k)$標準階層的コントラストのみをキャプチャする。
論文 参考訳（メタデータ） (2026-01-27T20:50:24Z) - Neural Networks Learn Generic Multi-Index Models Near Information-Theoretic Limit [66.20349460098275]
一般ガウス多次元モデル $f(boldsymbolx)=g(boldsymbolUboldsymbolx)$ の勾配降下学習を隠蔽部分空間 $boldsymbolUin mathbbRrtimes d$ で研究する。
リンク関数上の一般的な非退化仮定の下では、層次勾配勾配勾配によって訓練された標準的な2層ニューラルネットワークは、$o_d(1)$テスト誤差でターゲットを不可知的に学習できることを示す。
論文 参考訳（メタデータ） (2025-11-19T04:46:47Z) - A Derandomization Framework for Structure Discovery: Applications in Neural Networks and Beyond [25.592330047318274]
構造発見の側面に注目し、より弱い仮定の下で研究する。
私たちのアプローチの中核は、キー$textitderandomization$ lemmaです。
この補題は構造発見を直接説明し、他の領域で直ちに適用することができる。
論文 参考訳（メタデータ） (2025-10-22T08:55:00Z) - The Generative Leap: Sharp Sample Complexity for Efficiently Learning Gaussian Multi-Index Models [71.5283441529015]
この研究において、ラベルは(ガウス)$d$-次元入力にのみ依存し、低次元$r = O_d(1)$部分空間への射影を通して得られる。
生成的跳躍指数 $kstar$, [Damian et al.'24] から生成的指数の自然拡張をマルチインデックス設定に導入する。
論文 参考訳（メタデータ） (2025-06-05T18:34:56Z) - Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。
本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
論文 参考訳（メタデータ） (2025-06-02T17:34:29Z) - Minimum $\ell_{1}$-norm interpolators: Precise asymptotics and multiple
descent [19.781475554462553]
本稿では、最小$ell_1$-norm補間器という、重要な種類の補間器の理論的理解を追求する。
我々は、奇異な多発現象である厳密な理論的正当化を観察し、提供する。
我々の発見は、2つの未知の非線形方程式からなる2つのシステムによって制御されるリスク行動の正確な特徴に基づいている。
論文 参考訳（メタデータ） (2021-10-18T17:51:14Z) - A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。
本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。
総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
論文 参考訳（メタデータ） (2021-02-09T02:44:24Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。