論文の概要: GrokAlign: Geometric Characterisation and Acceleration of Grokking
- arxiv url: http://arxiv.org/abs/2506.12284v1
- Date: Sat, 14 Jun 2025 00:16:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-17 17:28:45.687412
- Title: GrokAlign: Geometric Characterisation and Acceleration of Grokking
- Title（参考訳）: GrokAlign: グローキングの幾何学的特徴化と加速
- Authors: Thomas Walker, Ahmed Imtiaz Humayun, Randall Balestriero, Richard Baraniuk,
- Abstract要約: ネットワークのヤコビアンをトレーニングデータと整合させることによって、低ランクのヤコビアン仮定の下でグルーキングが保証されることを示す。
この結果は、深いネットワークの最適化にヤコビ正規化を用いるための強力な理論的動機を与える。
我々はジャコビアンアライメントのトラクタブルかつ解釈可能な簡易化としてセントロイドアライメントを導入する。
- 参考スコア（独自算出の注目度）: 14.286905882211896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A key challenge for the machine learning community is to understand and accelerate the training dynamics of deep networks that lead to delayed generalisation and emergent robustness to input perturbations, also known as grokking. Prior work has associated phenomena like delayed generalisation with the transition of a deep network from a linear to a feature learning regime, and emergent robustness with changes to the network's functional geometry, in particular the arrangement of the so-called linear regions in deep networks employing continuous piecewise affine nonlinearities. Here, we explain how grokking is realised in the Jacobian of a deep network and demonstrate that aligning a network's Jacobians with the training data (in the sense of cosine similarity) ensures grokking under a low-rank Jacobian assumption. Our results provide a strong theoretical motivation for the use of Jacobian regularisation in optimizing deep networks -- a method we introduce as GrokAlign -- which we show empirically to induce grokking much sooner than more conventional regularizers like weight decay. Moreover, we introduce centroid alignment as a tractable and interpretable simplification of Jacobian alignment that effectively identifies and tracks the stages of deep network training dynamics. Accompanying \href{https://thomaswalker1.github.io/blog/grokalign.html}{webpage} and \href{https://github.com/ThomasWalker1/grokalign}{code}.
- Abstract（参考訳）: 機械学習コミュニティにとって重要な課題は、深層ネットワークのトレーニングダイナミクスを理解し、加速させることで、一般化の遅れと入力摂動に対する創発的堅牢性(グラッキングとも呼ばれる)につながる。
以前の研究は、線形から特徴学習体制への移行に伴うディープ・ネットワークの一般化の遅れや、ネットワークの機能的幾何の変化による創発的な堅牢性、特に連続的な断片的なアフィン非線形性を用いたディープ・ネットワークにおけるいわゆる線形領域の配置といった現象と関連する。
ここでは、ディープネットワークのヤコビアンにおいてグラクキングがどのように実現されているかを説明し、ネットワークのヤコビアンとトレーニングデータ(コサイン類似性という意味で)を整合させることによって、低ランクのヤコビアン仮定の下でグラクキングが保証されることを示す。
この結果は,GrokAlignとして導入した手法であるディープネットワークの最適化において,ヤコビアン正則化を利用するための強力な理論的動機を与える。
さらに,ネットワークの深部トレーニングの段階を効果的に識別し追跡するヤコビアンアライメントの,トラクタブルかつ解釈可能な簡易化として,セントロイドアライメントを導入する。
href{https://thomaswalker1.github.io/blog/grokalign.html}{webpage} と \href{https://github.com/ThomasWalker1/grokalign}{code} が一致する。
関連論文リスト
- Generalization emerges from local optimization in a self-organized learning network [0.0]
我々は,グローバルなエラー関数に頼ることなく,局所最適化ルールのみによって駆動される,教師付き学習ネットワーク構築のための新しいパラダイムを設計・分析する。
我々のネットワークは、ルックアップテーブルの形で、ノードに新しい知識を正確かつ瞬時に保存する。
本稿では,学習例数が十分に大きくなると,アルゴリズムによって生成されたネットワークが完全な一般化状態に体系的に到達する,分類タスクの多くの例を示す。
我々は状態変化のダイナミクスについて報告し、それが突然であり、従来の学習ネットワークですでに観察されている現象である1次相転移の特徴を持つことを示す。
論文 参考訳（メタデータ） (2024-10-03T15:32:08Z) - Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。
これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。
行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
論文 参考訳（メタデータ） (2023-10-11T18:00:02Z) - Convergence Analysis and Implicit Regularization of Feedback Alignment
for Deep Linear Networks [27.614609336582568]
ニューラルネットワークのトレーニングのためのバックプロパゲーションの効率的な代替手段であるフィードバックアライメント(FA)アルゴリズムを理論的に解析する。
我々は、連続力学と離散力学の両方に対して、ディープ線形ネットワークのレートで収束保証を提供する。
論文 参考訳（メタデータ） (2021-10-20T22:57:03Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-10-18T18:00:36Z) - The Principles of Deep Learning Theory [19.33681537640272]
この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。
これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。
トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
論文 参考訳（メタデータ） (2021-06-18T15:00:00Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Rethinking Skip Connection with Layer Normalization in Transformers and
ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。
本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文 参考訳（メタデータ） (2021-05-15T11:44:49Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。