論文の概要: How does feature learning reshape the function space?

• arxiv url: http://arxiv.org/abs/2605.17718v1
• Date: Mon, 18 May 2026 00:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.495386
• Title: How does feature learning reshape the function space?
• Title（参考訳）: 機能学習は機能空間をどのように作り直すのか?
• Authors: João Lobo, Bruno Loureiro, Long Tran-Than, Fanghui Liu,
• Abstract要約: 本研究では,2層ニューラルネットワークの特徴によって分散された関数空間が勾配降下訓練中にどのように進化するかを検討する。 本結果は,早期特徴学習における関数空間の正確な視点を提供する。
• 参考スコア（独自算出の注目度）: 17.342357780996174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature learning is widely regarded as the key mechanism distinguishing neural networks from fixed-kernel methods, yet its impact on the induced function space remains poorly understood. In this work, we precisely characterize how the function space spanned by the features of a two-layer neural network evolves during gradient descent training. We prove that, in the high-dimensional proportional regime, after a large gradient step the post-update feature distribution is well approximated by a target-dependent spiked Gaussian covariance. This induces a data-adaptive kernel that reshapes the function space and modifies its spectral structure. Our analysis reveals that feature learning can be interpreted as a distributional transformation in either parameter space or input space, equivalently as the introduction of a target-dependent kernel. In particular, it selectively amplifies eigenvalues aligned with the target direction and mixes leading eigenfunctions, coupling the top radial mode with a target-aligned quadratic harmonic. Overall, our results provide a precise function-space perspective on early-stage feature learning: rather than just rescaling a fixed kernel, gradient descent induces a data-adaptive deformation that preferentially enhances directions aligned with the signal in the data.
• Abstract（参考訳）: 特徴学習はニューラルネットワークを固定カーネル法と区別する重要なメカニズムとして広く見なされているが、誘導関数空間への影響はいまだに理解されていない。 本研究では,2層ニューラルネットワークの特徴によって分散された関数空間が勾配降下訓練中にどのように進化するかを正確に評価する。 高次元比例法では、大きな勾配ステップの後に、更新後の特徴分布がターゲット依存のスパイクされたガウス共分散によってよく近似されることを証明した。 これにより、関数空間を再設定し、スペクトル構造を変更するデータ適応カーネルが誘導される。 分析の結果,特徴学習はパラメータ空間あるいは入力空間における分布変換として解釈できることがわかった。 特に、ターゲット方向に沿って固有値を選択的に増幅し、先頭の固有関数を混合し、トップラジアルモードとターゲット方向の二次調和を結合する。 全体として、我々は、固定されたカーネルを再スケーリングする代わりに、データ内の信号に整合した方向を優先的に拡張するデータ適応的変形を誘導する、アーリーステージの特徴学習について、正確な関数空間の視点を提供する。

関連論文リスト

• On Interpolation Formulas Describing Neural Network Generalization [8.154667543705687]
  連続時間拡散により決定論的バージョンを拡張する勾配カーネルを導入する。 トレーニングサンプルは、損失依存の重み付けと軌道に沿った勾配アライメントを通じて寄与することを明らかにする。 次に、勾配カーネルによって誘導される積分作用素の零空間に一般化誤差をリンクする。
  論文  参考訳（メタデータ） (2026-03-14T10:03:29Z)
• Function Spaces Without Kernels: Learning Compact Hilbert Space Representations [17.20282687120807]
  本稿では,関数エンコーダが特徴学習とカーネル手法との原則的接続を提供することを示す。 コンパクトなベースを学習する2つのトレーニングアルゴリズムを開発した。 この研究は、カーネルレベルの保証を持つ神経予測器への道を示唆している。
  論文  参考訳（メタデータ） (2025-09-24T22:55:52Z)
• Diagonal Over-parameterization in Reproducing Kernel Hilbert Spaces as an Adaptive Feature Model: Generalization and Adaptivity [11.644182973599788]
  対角適応カーネルモデルは、トレーニング中にカーネル固有値と出力係数を同時に学習する。 適応性は、トレーニング中に正しい固有値を学ぶことから生じることを示す。
  論文  参考訳（メタデータ） (2025-01-15T09:20:02Z)
• A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities [30.737171081270322]
  完全に接続された2層ニューラルネットワークは、単一だが攻撃的な勾配降下ステップの後、ターゲット関数にどのように適応するかを検討する。 これは、2層ニューラルネットワークの一般化における特徴学習の影響を、ランダムな特徴や遅延トレーニング体制を超えて、はっきりと説明してくれる。
  論文  参考訳（メタデータ） (2024-10-24T17:24:34Z)
• Nonlinear functional regression by functional deep neural network with kernel embedding [18.927592350748682]
  本稿では,適応型・離散化不変次元減少法による機能的ディープニューラルネットワークを提案する。 様々な入力関数空間にまたがる非線形滑らかな関数の近似の比例率を導出する。 シミュレーションと実データの両方で数値実験を行い、機能ネットの有効性と利点を実証する。
  論文  参考訳（メタデータ） (2024-01-05T16:43:39Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。