論文の概要: Deep Grokking: Would Deep Neural Networks Generalize Better?

• arxiv url: http://arxiv.org/abs/2405.19454v1
• Date: Wed, 29 May 2024 19:05:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 19:26:02.022429
• Title: Deep Grokking: Would Deep Neural Networks Generalize Better?
• Title（参考訳）: Deep Grokking: ディープニューラルネットワークはより一般化するのか?
• Authors: Simin Fan, Razvan Pascanu, Martin Jaggi,
• Abstract要約: グロキング(Grokking)とは、テストセットにおけるネットワークの一般化精度の急激な上昇を指す。 深層ニューラルネットワークは、浅いものよりもグラッキングの影響を受けやすいことがわかりました。 また,モデル深度を増大させると,興味深い多段階一般化現象が観測される。
• 参考スコア（独自算出の注目度）: 51.24007462968805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research on the grokking phenomenon has illuminated the intricacies of neural networks' training dynamics and their generalization behaviors. Grokking refers to a sharp rise of the network's generalization accuracy on the test set, which occurs long after an extended overfitting phase, during which the network perfectly fits the training set. While the existing research primarily focus on shallow networks such as 2-layer MLP and 1-layer Transformer, we explore grokking on deep networks (e.g. 12-layer MLP). We empirically replicate the phenomenon and find that deep neural networks can be more susceptible to grokking than its shallower counterparts. Meanwhile, we observe an intriguing multi-stage generalization phenomenon when increase the depth of the MLP model where the test accuracy exhibits a secondary surge, which is scarcely seen on shallow models. We further uncover compelling correspondences between the decreasing of feature ranks and the phase transition from overfitting to the generalization stage during grokking. Additionally, we find that the multi-stage generalization phenomenon often aligns with a double-descent pattern in feature ranks. These observations suggest that internal feature rank could serve as a more promising indicator of the model's generalization behavior compared to the weight-norm. We believe our work is the first one to dive into grokking in deep neural networks, and investigate the relationship of feature rank and generalization performance.
• Abstract（参考訳）: グラッキング現象に関する最近の研究は、ニューラルネットワークのトレーニング力学と一般化挙動の複雑さを照らしている。 グロキング(Grokking)とは、ネットワークがトレーニングセットに完全に適合する拡張オーバーフィッティングフェーズの後に発生する、テストセット上でのネットワークの一般化精度の急激な上昇を指す。 既存の研究は主に2層MLPや1層トランスフォーマーのような浅層ネットワークに焦点を当てているが、我々はディープネットワーク(例えば12層MLP)のグラッキングについて検討する。 我々はこの現象を実証的に再現し、深層ニューラルネットワークが浅いものよりもグラッキングの影響を受けやすいことを発見した。 一方,テスト精度が2次サージを示すMLPモデルの深さを増大させると,浅層モデルにはほとんど見られない,興味深い多段階一般化現象が観測される。 さらに,特徴量の減少と,グルーキング時の過度適合から一般化段階への位相遷移の間の説得力のある対応を明らかにする。 さらに,多段階一般化現象は特徴ランクの二重発色パターンとよく一致していることがわかった。 これらの観測から、内部特徴ランクは重量ノルムと比較してモデルの一般化挙動のより有望な指標となる可能性が示唆された。 我々の研究は、ディープニューラルネットワークに潜入し、特徴ランクと一般化性能の関係を調査する最初のものであると信じています。

関連論文リスト

• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Network Degeneracy as an Indicator of Training Performance: Comparing Finite and Infinite Width Angle Predictions [3.04585143845864]
  ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。 完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-06-02T13:02:52Z)
• A Tale of Two Circuits: Grokking as Competition of Sparse and Dense Subnetworks [1.5297569497776375]
  スパースパリティタスクでグラッキングを行うネットワークの内部構造について検討する。 グラッキング相転移はモデル予測に支配的なスパースサブネットワークの出現に対応する。
  論文  参考訳（メタデータ） (2023-03-21T14:17:29Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Contrasting random and learned features in deep Bayesian linear regression [12.234742322758418]
  本研究では,学習能力が単純なモデルの一般化性能に与える影響について検討する。 すべての層が訓練されたディープネットワークと比較することにより、幅、深さ、データ密度、事前のミスマッチの相互作用を詳細に解析する。
  論文  参考訳（メタデータ） (2022-03-01T15:51:29Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Early Stopping in Deep Networks: Double Descent and How to Eliminate it [30.61588337557343]
  ネットワークの異なる部分が異なるエポックで学習されるため、エポックワイズな二重降下が発生することを示す。 本研究では,2つの標準畳み込みネットワークを実証的に検討し,異なる階層の段差調整によるエポックな二重降下の除去が早期停止性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-07-20T13:43:33Z)
• Relationship between manifold smoothness and adversarial vulnerability in deep learning with local errors [2.7834038784275403]
  ニューラルネットワークにおける敵の脆弱性の起源について検討する。 本研究は,隠れ表現の固有スペクトルの比較的高速なパワーロー崩壊を必要とすることを明らかにする。
  論文  参考訳（メタデータ） (2020-07-04T08:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。