論文の概要: Let Me Grok for You: Accelerating Grokking via Embedding Transfer from a Weaker Model

• arxiv url: http://arxiv.org/abs/2504.13292v1
• Date: Thu, 17 Apr 2025 19:08:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 20:26:43.27135
• Title: Let Me Grok for You: Accelerating Grokking via Embedding Transfer from a Weaker Model
• Title（参考訳）: Let Me Grok for You:Accelerating Grokking via Embedding Transfer from a Weaker Model
• Authors: Zhiwei Xu, Zhiyu Ni, Yixin Wang, Wei Hu,
• Abstract要約: 「グロキング」とは、ニューラルネットワークがトレーニングデータを最初に記憶し、一般化が不十分な現象であるが、訓練が長引いた後に突然、ほぼ完全な一般化へと移行する現象である。 本稿では、ニューラルネットワークのトレーニングにおいて、グラッキングを高速化する簡易かつ原理的な方法であるGrokTransferを提案する。 我々は、通常訓練において遅延一般化が常に発生する合成XORタスクにおいて、GrokTransferがターゲットモデルを遅延なく直接一般化できるようにすることを厳密に証明する。
• 参考スコア（独自算出の注目度）: 26.536857505794092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ''Grokking'' is a phenomenon where a neural network first memorizes training data and generalizes poorly, but then suddenly transitions to near-perfect generalization after prolonged training. While intriguing, this delayed generalization phenomenon compromises predictability and efficiency. Ideally, models should generalize directly without delay. To this end, this paper proposes GrokTransfer, a simple and principled method for accelerating grokking in training neural networks, based on the key observation that data embedding plays a crucial role in determining whether generalization is delayed. GrokTransfer first trains a smaller, weaker model to reach a nontrivial (but far from optimal) test performance. Then, the learned input embedding from this weaker model is extracted and used to initialize the embedding in the target, stronger model. We rigorously prove that, on a synthetic XOR task where delayed generalization always occurs in normal training, GrokTransfer enables the target model to generalize directly without delay. Moreover, we demonstrate that, across empirical studies of different tasks, GrokTransfer effectively reshapes the training dynamics and eliminates delayed generalization, for both fully-connected neural networks and Transformers.
• Abstract（参考訳）: 「グロキング」とは、ニューラルネットワークがトレーニングデータを最初に記憶し、一般化が不十分な現象であるが、訓練が長引いた後に突然、ほぼ完全な一般化へと移行する現象である。 興味深いが、この一般化現象は予測可能性と効率を損なう。 理想的には、モデルは遅延なく直接一般化すべきである。 そこで本研究では,データ埋め込みが一般化が遅れるかどうかを判断する上で重要な役割を担っているというキー観察に基づいて,ニューラルネットワークの学習におけるグルーキングの高速化をシンプルかつ原則的に行うGrokTransferを提案する。 GrokTransferは最初、より小さく弱いモデルをトレーニングして、非自明な(しかし最適な)テストパフォーマンスに到達させる。 そして、この弱いモデルから学習された入力埋め込みを抽出し、ターゲットのより強いモデルへの埋め込みを初期化する。 我々は、通常訓練において遅延一般化が常に発生する合成XORタスクにおいて、GrokTransferがターゲットモデルを遅延なく直接一般化できるようにすることを厳密に証明する。 さらに、GrokTransferは、異なるタスクの実証的研究を通じて、トレーニングのダイナミクスを効果的に再認識し、完全に接続されたニューラルネットワークとトランスフォーマーの両方に対する遅延一般化を排除することを実証した。

関連論文リスト

• Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
  多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。 しかし、二階法の一般化特性についてはいまだ議論が続いている。 我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
  論文  参考訳（メタデータ） (2024-11-12T17:58:40Z)
• Understanding Grokking Through A Robustness Viewpoint [3.23379981095083]
  ニューラルネットワークの一般的な$l$ノルム(メトリック)は、実際にはグルークするのに十分な条件であることを示す。 我々は、ロバストネスと情報理論に基づく新しいメトリクスを提案し、我々の新しいメトリクスがグラッキング現象とよく相関し、グラッキングを予測するのに使用できることを発見した。
  論文  参考訳（メタデータ） (2023-11-11T15:45:44Z)
• Grokking in Linear Estimators -- A Solvable Model that Groks without Understanding [1.1510009152620668]
  グロキングは、トレーニングデータに適合した後、モデルが一般化することを学習する場所である。 線形処理を行う線形ネットワークにおいて、グラッキングが驚くほど起こりうることを解析的および数値的に示す。
  論文  参考訳（メタデータ） (2023-10-25T08:08:44Z)
• Grokking as the Transition from Lazy to Rich Training Dynamics [35.186196991224286]
  グルーキングは、ニューラルネットワークの列車の損失がテスト損失よりもはるかに早く減少するときに起こる。 グルーキングの主要な要因は、特徴学習の速度と、初期特徴と対象関数とのアライメントである。
  論文  参考訳（メタデータ） (2023-10-09T19:33:21Z)
• Explaining grokking through circuit efficiency [4.686548060335767]
  グルーキングは 完璧な訓練精度のネットワークだが 貧弱な一般化は 完全な一般化へと移行する 我々は,グルーキングに関する4つの新しい予測を立証し,その説明に有利な証拠を提示する。 ネットワークが完全なテスト精度から低いテスト精度に回帰するアングロキング(ungrokking)と、ネットワークが完全なテスト精度よりも部分的な一般化を遅らせるセミグロキング( semi-grokking)という2つの斬新な動作を示す。
  論文  参考訳（メタデータ） (2023-09-05T17:00:24Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Learning Non-Vacuous Generalization Bounds from Optimization [8.294831479902658]
  最適化の観点からは、単純だが空でない一般化を示す。 我々は、勾配アルゴリズムによってアクセスされた仮説セットが本質的にフラクタル的であることを利用して、この目標を達成する。 数値解析により,現代のニューラルネットワークにおいて,本手法が有意な一般化を保証することが実証された。
  論文  参考訳（メタデータ） (2022-06-09T08:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。