論文の概要: Adaptive kernel predictors from feature-learning infinite limits of neural networks

• arxiv url: http://arxiv.org/abs/2502.07998v1
• Date: Tue, 11 Feb 2025 22:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:49:24.448877
• Title: Adaptive kernel predictors from feature-learning infinite limits of neural networks
• Title（参考訳）: ニューラルネットワークの特徴学習無限極限からの適応型カーネル予測器
• Authors: Clarissa Lauditi, Blake Bordelon, Cengiz Pehlevan,
• Abstract要約: 我々は、リッチで特徴学習可能な無限幅のニューラルネットワークについても、カーネルマシンによって記述されていることを示す。 カーネル予測器に明示的な表現を提供し、それらを数値的に計算する。
• 参考スコア（独自算出の注目度）: 35.95321041944522
• License:
• Abstract: Previous influential work showed that infinite width limits of neural networks in the lazy training regime are described by kernel machines. Here, we show that neural networks trained in the rich, feature learning infinite-width regime in two different settings are also described by kernel machines, but with data-dependent kernels. For both cases, we provide explicit expressions for the kernel predictors and prescriptions to numerically calculate them. To derive the first predictor, we study the large-width limit of feature-learning Bayesian networks, showing how feature learning leads to task-relevant adaptation of layer kernels and preactivation densities. The saddle point equations governing this limit result in a min-max optimization problem that defines the kernel predictor. To derive the second predictor, we study gradient flow training of randomly initialized networks trained with weight decay in the infinite-width limit using dynamical mean field theory (DMFT). The fixed point equations of the arising DMFT defines the task-adapted internal representations and the kernel predictor. We compare our kernel predictors to kernels derived from lazy regime and demonstrate that our adaptive kernels achieve lower test loss on benchmark datasets.
• Abstract（参考訳）: これまでの影響力のある研究は、遅延トレーニング体制におけるニューラルネットワークの無限幅制限がカーネルマシンによって記述されていることを示した。 ここでは、2つの異なる設定で、リッチで機能学習可能な無限幅構造で訓練されたニューラルネットワークが、カーネルマシンによって記述されるが、データ依存のカーネルで記述される。 どちらの場合も、カーネル予測子に対して明示的な表現を提供し、それらを数値的に計算する。 第1の予測器を導出するために,特徴学習ベイズネットワークの広帯域限界について検討し,特徴学習が階層カーネルのタスク関連適応と事前実行密度に与える影響を示した。 この制限を規定するサドル点方程式は、カーネル予測子を定義するmin-max最適化問題をもたらす。 第2の予測器を導出するために、動的平均場理論(DMFT)を用いて、無限幅極限における減量で訓練されたランダム初期化ネットワークの勾配流のトレーニングについて検討した。 DMFTの固定点方程式は、タスク適応された内部表現とカーネル予測器を定義する。 我々は、カーネル予測器を遅延状態から派生したカーネルと比較し、適応的なカーネルがベンチマークデータセットでテスト損失が低いことを実証する。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
  我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。 この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
  論文  参考訳（メタデータ） (2023-08-01T20:22:53Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Dynamics of Finite Width Kernel and Prediction Fluctuations in Mean Field Neural Networks [47.73646927060476]
  広義だが有限な特徴学習ニューラルネットワークにおける有限幅効果のダイナミクスを解析する。 我々の結果は、特徴学習の強みにおいて非摂動的である。
  論文  参考訳（メタデータ） (2023-04-06T23:11:49Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Self-Consistent Dynamical Field Theory of Kernel Evolution in Wide Neural Networks [18.27510863075184]
  勾配流を学習した無限幅ニューラルネットワークにおける特徴学習を,自己整合力学場理論を用いて解析する。 本研究では,各層に隠れた単位活性化と勾配を示す内積カーネルである決定論的動的順序パラメータの集合を,時間点のペアで構築する。
  論文  参考訳（メタデータ） (2022-05-19T16:10:10Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Classifying high-dimensional Gaussian mixtures: Where kernel methods fail and neural networks succeed [27.38015169185521]
  2層ニューラルネットワーク (2lnn) の隠れたニューロンがカーネル学習の性能を上回ることができることを理論的に示している。 ニューラルネットワークのオーバーパラメータが収束を早めるが、最終的な性能は改善しないことを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:10:15Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。