論文の概要: The Optimization Landscape of SGD Across the Feature Learning Strength

• arxiv url: http://arxiv.org/abs/2410.04642v2
• Date: Tue, 8 Oct 2024 12:28:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 02:47:36.387287
• Title: The Optimization Landscape of SGD Across the Feature Learning Strength
• Title（参考訳）: 特徴学習力を超えたSGDの最適化景観
• Authors: Alexander Atanasov, Alexandru Meterez, James B. Simon, Cengiz Pehlevan,
• Abstract要約: オンライントレーニング環境で、さまざまなモデルやデータセットに$gamma$をスケーリングする効果について検討する。 最適なオンラインパフォーマンスは、しばしば大きな$gamma$で見られます。 以上の結果から,大容量ガンマ$限界の解析的研究は,実演モデルにおける表現学習のダイナミクスに関する有用な知見をもたらす可能性が示唆された。
• 参考スコア（独自算出の注目度）: 102.1353410293931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider neural networks (NNs) where the final layer is down-scaled by a fixed hyperparameter $\gamma$. Recent work has identified $\gamma$ as controlling the strength of feature learning. As $\gamma$ increases, network evolution changes from "lazy" kernel dynamics to "rich" feature-learning dynamics, with a host of associated benefits including improved performance on common tasks. In this work, we conduct a thorough empirical investigation of the effect of scaling $\gamma$ across a variety of models and datasets in the online training setting. We first examine the interaction of $\gamma$ with the learning rate $\eta$, identifying several scaling regimes in the $\gamma$-$\eta$ plane which we explain theoretically using a simple model. We find that the optimal learning rate $\eta^*$ scales non-trivially with $\gamma$. In particular, $\eta^* \propto \gamma^2$ when $\gamma \ll 1$ and $\eta^* \propto \gamma^{2/L}$ when $\gamma \gg 1$ for a feed-forward network of depth $L$. Using this optimal learning rate scaling, we proceed with an empirical study of the under-explored "ultra-rich" $\gamma \gg 1$ regime. We find that networks in this regime display characteristic loss curves, starting with a long plateau followed by a drop-off, sometimes followed by one or more additional staircase steps. We find networks of different large $\gamma$ values optimize along similar trajectories up to a reparameterization of time. We further find that optimal online performance is often found at large $\gamma$ and could be missed if this hyperparameter is not tuned. Our findings indicate that analytical study of the large-$\gamma$ limit may yield useful insights into the dynamics of representation learning in performant models.
• Abstract（参考訳）: 我々は、最終層が固定されたハイパーパラメータ$\gamma$でダウンスケールされるニューラルネットワーク(NN)を考える。 最近の研究によると、$\gamma$は特徴学習の強みをコントロールしている。 $\gamma$が増加するにつれて、ネットワークの進化は"怠慢"なカーネルダイナミクスから"リッチ"な機能学習ダイナミクスへと変化し、一般的なタスクのパフォーマンスの改善を含む多くのメリットがもたらされる。 本研究では,オンライントレーニング環境において,さまざまなモデルやデータセットに対して$\gamma$をスケーリングする効果について,徹底的な実証的研究を行う。 最初に、$\gamma$と学習率$\eta$の相互作用を調べ、単純なモデルを用いて理論的に説明できる$\gamma$-$\eta$平面内のいくつかのスケーリング機構を特定する。 最適学習率$\eta^*$は$\gamma$と非自明にスケールする。 特に、$\eta^* \propto \gamma^2$ if $\gamma \ll 1$ and $\eta^* \propto \gamma^{2/L}$ when $\gamma \gg 1$ for a feed-forward network of depth $L$。 この最適学習率のスケーリングを用いて、未探索の「ウルトラリッチ」$\gamma \gg 1$ regimeを実証研究する。 この状態のネットワークは、長い台地から始まり、ドロップオフ、時には1つ以上の階段ステップで、特性損失曲線を表示する。 異なる大きな$\gamma$値のネットワークは、時間の再パラメータ化まで、同様の軌道に沿って最適化されている。 さらに、最適オンラインパフォーマンスは大きな$\gamma$でしばしば見出され、このハイパーパラメータがチューニングされない場合は見逃される可能性がある。 以上の結果から, 実演モデルにおける表現学習のダイナミクスに関する有用な知見が得られる可能性が示唆された。

関連論文リスト

• Variance-reduced Clipping for Non-convex Optimization [24.765794811146144]
  グラディエント・クリッピング(Gradient clipping)は、大規模言語モデリングのようなディープラーニングアプリケーションで用いられる技法である。 最近の実験的な訓練は、秩序の複雑さを緩和する、非常に特別な振る舞いを持っている。
  論文  参考訳（メタデータ） (2023-03-02T00:57:38Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Maximal Initial Learning Rates in Deep ReLU Networks [32.157430904535126]
  最大初等学習率$etaast$を導入する。 定幅完全接続型ReLUネットワークでは,学習後の最大学習率とは,$etaast$が異なる動作を示す。
  論文  参考訳（メタデータ） (2022-12-14T15:58:37Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Neural Networks can Learn Representations with Gradient Descent [68.95262816363288]
  特定の状況下では、勾配降下によって訓練されたニューラルネットワークは、カーネルメソッドのように振る舞う。 実際には、ニューラルネットワークが関連するカーネルを強く上回ることが知られている。
  論文  参考訳（メタデータ） (2022-06-30T09:24:02Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• Large-time asymptotics in deep learning [0.0]
  トレーニングにおける最終時間の$T$(対応するResNetの深さを示す可能性がある)の影響について検討する。 古典的な$L2$-正規化経験的リスク最小化問題に対して、トレーニングエラーが$mathcalOleft(frac1Tright)$のほとんどであることを示す。 $ellp$-距離損失の設定において、トレーニングエラーと最適パラメータの両方が$mathcalOleft(e-mu)の順序のほとんどであることを示す。
  論文  参考訳（メタデータ） (2020-08-06T07:33:17Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。