論文の概要: Phase Transition from Random Features to Fully Trainable Networks
- arxiv url: http://arxiv.org/abs/2610.31663v1
- Date: Thu, 22 Oct 2026 17:59:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.516023
- Title: Phase Transition from Random Features to Fully Trainable Networks
- Title(参考訳): ランダム特徴からフルトレーニング可能なネットワークへの位相遷移
- Abstract要約: 部分的にトレーニング可能なニューラルネットワークは、ランダムな特徴と完全な適応表現をブリッジする。
本稿では,近似境界における位相遷移パターンの定量化と,学習誤差における類似性について述べる。
最大15層までのネットワークを含む、さまざまな設定にわたる数値実験は、トレーニングエラーで同様の位相遷移を示す。
- 参考スコア(独自算出の注目度): 17.106223672752105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Constructing accurate and computationally tractable approximation spaces is a fundamental task in scientific computing. Partially trainable neural networks bridge fixed random features and fully adaptive representations. This paper quantifies a phase transition pattern in approximation bounds and observes analogous behavior in training errors: a rapid but smooth initial improvement followed by diminishing returns, with a sharper transition under greater initialization mismatch. Under polynomial spectral decay with exponent $α>1$ and leverage compatibility, we establish a squared $L_2$ approximation rate $\mathcal{O}((κ_P\log(m/δ)/m)^α)$ for two-layer networks of width $m$ and trainable proportion $P$, where $κ_P=(P/κ_1^*+(1-P)/κ_0^*)^{-1}$. The bound holds uniformly over the unit ball of a reproducing kernel Hilbert space (RKHS) with probability at least $1-δ$. The constants $κ_0^*$ and $κ_1^*$ quantify the fixed and trainable groups' sampling mismatches relative to the target RKHS. For spherical biased-ReLU features in dimension $d$, we verify these assumptions with $α=(d+2)/(d-1)$ and $κ_0^*=4\sqrt{2}τ(d+1)/d$ for initialization scale $τ\ge1$, and $κ_1^*=1$ under ridge leverage sampling. For $d=5$ and $τ=10$, a trainable proportion of approximately $4.1\%$ captures $90\%$ of the reduction in the approximation bound from $P=0$ to $P=1$. A structured three-layer example illustrates how a few trainable first-layer neurons exploit fixed downstream blocks through nonlinear composition. Numerical experiments across diverse settings, including networks with up to 15 layers, exhibit similar phase transitions in training errors.
- Abstract(参考訳): 正確で計算可能な近似空間を構築することは、科学計算の基本的な課題である。
部分的にトレーニング可能なニューラルネットワークは、固定されたランダムな特徴と完全な適応表現をブリッジする。
本稿では、近似境界における位相遷移パターンを定量化し、トレーニングエラーにおける類似の挙動を観察する。
多項式スペクトル崩壊と指数$α>1$と整合性を利用して、幅$m$の2層ネットワークに対して2乗の$L_2$近似率$\mathcal{O}((κ_P\log(m/δ)/m)^α)$を定め、$κ_P=(P/κ_1^*+(1-P)/κ_0^*)^{-1}$とする。
この境界は、再生カーネルヒルベルト空間(RKHS)の単位球上を、少なくとも1-δ$の確率で均一に保持する。
定数 $κ_0^*$ と $κ_1^*$ は、目標RKHSに対して固定および訓練可能なグループのサンプリングミスマッチを定量化する。
次元$d$の球偏差ReLU関数に対して、これらの仮定を$α=(d+2)/(d-1)$と$κ_0^*=4\sqrt{2}τ(d+1)/d$で初期化スケール$τ\ge1$と$κ_1^*=1$で検証する。
$d=5$と$τ=10$の場合、約4.1\%$のトレーニング可能な比率は、近似が$P=0$から$P=1$に制限された90\%$をキャプチャする。
構造化された3層構造の例は、いくつかのトレーニング可能な第一層ニューロンが、非線形合成によって下流ブロックを固定する方法を示している。
最大15層までのネットワークを含む、さまざまな設定にわたる数値実験は、トレーニングエラーで同様の位相遷移を示す。
関連論文リスト
- Scalable Minimum-Volume Simplex Estimation with Non-asymptotic Analysis [3.008906408145323]
既存の推定器は、サンプルごとの立方体処理か、または$O(NK)$ストレージを必要とする。
DeepMVSAは神経暗黙の形で最小限の原理を再表現する。
最大$N=108$の合成観測実験は、予測された精度とスケーリングと一致している。
論文 参考訳(メタデータ) (2026-09-22T02:13:14Z) - Research Report on Noise-Shaped One-Bit Coefficients in Discrete Polynomial Fourier Extension [0.0]
本報告では、正規化離散フーリエ展開におけるノイズ形状の1ビット係数について検討する。
一階のシグマ量子化の場合、誤差は$e_k=u_k-q_k=v_k$と書かれ、一様有界である。
パラボリックな$_x,t()=x+t2$の場合、境界は$J(x,t)=int_01 |x+2t|d$で表され、均一な$N-1$レートはシャープである。
論文 参考訳(メタデータ) (2026-07-26T21:51:41Z) - Sublinear Time Quantum Sensitivity Sampling [57.356528942341534]
本稿では、量子感応サンプリングのための統一的なフレームワークを提案し、量子コンピューティングの利点を古典近似問題の幅広いクラスに拡張する。
我々のフレームワークは、コアセットを構築するための合理化されたアプローチを提供し、クラスタリング、回帰、低ランク近似などのアプリケーションにおいて、大幅なランタイム改善を提供します。
論文 参考訳(メタデータ) (2025-09-20T20:18:49Z) - Robust learning of halfspaces under log-concave marginals [6.852292115526837]
線形しきい値関数を学習し、境界体積$O(r+varepsilon)$の分類子を半径摂動$r$で返すアルゴリズムを与える。
dtildeO(1/varepsilon2)$の時間とサンプルの複雑さはブール回帰の複雑さと一致する。
論文 参考訳(メタデータ) (2025-05-19T20:12:16Z) - Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。
平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
論文 参考訳(メタデータ) (2025-04-28T16:58:55Z) - Measurement-induced phase transition for free fermions above one dimension [46.176861415532095]
自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。
臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
論文 参考訳(メタデータ) (2023-09-21T18:11:04Z) - Generalization and Stability of Interpolating Neural Networks with
Minimal Width [37.908159361149835]
補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。
トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。
m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
論文 参考訳(メタデータ) (2023-02-18T05:06:15Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳(メタデータ) (2022-05-03T12:09:59Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。