論文の概要: Deep Neural Networks Training Efficiency: Does Grokking Modify its Dynamics?
- arxiv url: http://arxiv.org/abs/2611.18396v1
- Date: Fri, 13 Nov 2026 16:39:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.360667
- Title: Deep Neural Networks Training Efficiency: Does Grokking Modify its Dynamics?
- Title(参考訳): ディープニューラルネットワークのトレーニング効率:グロッキングはダイナミクスを変えるか?
- Abstract要約: grokkingは、明らかに過適合した後の分布外一般化の遅れた出現であり、ディープニューラルネットワークのトレーニング効率を変化させる。
16ビット、32ビット、64ビットの精度で2つのニューラルネットワークモデルを解析し、Orthogradを使用して、グラッキングがトレーニング効率の典型的な低下ダイナミクスから顕著なずれを生じさせるかどうかを調べる。
- 参考スコア(独自算出の注目度): 4.025227068424383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study whether grokking, the delayed emergence of out-of-distribution generalization after apparent overfitting, alters training efficiency in deep neural networks, where efficiency is measured as accuracy per unit energy. Using two canonical settings, modular arithmetic and MNIST, we analyze two neural network models under 16-, 32-, and 64-bit precision and use Orthograd to test whether grokking produces noticeable deviations from the typically decreasing dynamics of training efficiency. We consider both short training runs of up to 500 epochs and long training runs of up to 20,000 epochs, and in both cases identify grokking as a sharp improvement in test accuracy after a sustained train-test gap. In the short-horizon experiments, applying Orthograd at progressively stronger levels during early training does not induce grokking, and efficiency remains smoothly decreasing. In the long-horizon experiments, Orthograd induces grokking, but the efficiency curves remain approximately monotonic and show no appreciable local increase at the grokking transition. These results suggest that, in our setting, grokking does not materially alter overall training-efficiency dynamics.
- Abstract(参考訳): 本研究は,学習効率を単位エネルギー当たりの精度で測定する深層ニューラルネットワークにおける学習効率を変化させるものである。
モジュラー演算とMNISTという2つの標準設定を用いて、16ビット、32ビット、64ビットの精度で2つのニューラルネットワークモデルを分析し、グラッキングがトレーニング効率の典型的な低下ダイナミクスから顕著なずれを生じさせるかどうかをOrthogradを用いて検証する。
我々は,500エポックまでの短期トレーニングと20,000エポックまでの長期トレーニングの両方を考慮し,両例とも,持続的な列車-テストギャップ後のテスト精度の急激な向上としてグルーキングを同定した。
短期ホライゾン実験では、初期訓練中にオルソグラードを徐々に強いレベルに応用してもグルーキングを誘発することはなく、効率は滑らかに低下し続ける。
長い水平実験では、オルソグラードはグルーキングを誘導するが、効率曲線は概して単調であり、グルーキング遷移において良好な局所的な増加は示さない。
これらの結果から,グルーキングはトレーニング効率を劇的に変化させるものではないことが示唆された。
関連論文リスト
- Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking [81.57031092474625]
Powerらによる最近の研究は、算術のタスクを学習する際の驚くべき"グロキング"現象を強調した。
ニューラルネットワークはまずトレーニングセットを“記憶”し、完全なトレーニング精度を持つが、ほぼランダムなテスト精度を実現する。
本論文は, 理論設定におけるグルーキング現象を考察し, 初期および後期の暗黙バイアスの2分法により誘導可能であることを示す。
論文 参考訳(メタデータ) (2023-11-30T18:55:38Z) - InRank: Incremental Low-Rank Learning [85.6380047359139]
勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。
既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。
InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
論文 参考訳(メタデータ) (2023-06-20T03:03:04Z) - Theoretical Characterization of How Neural Network Pruning Affects its
Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。
プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。
より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文 参考訳(メタデータ) (2023-01-01T03:10:45Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳(メタデータ) (2021-10-05T11:36:25Z) - When and how epochwise double descent happens [7.512375012141203]
急激な二重降下効果は、一般化誤差が最初は減少し、その後上昇し、最終的にトレーニング時間の増加とともに再び低下する。
このことは、訓練に要する時間の長さが長く、検証性能に基づく早期停止が準最適一般化をもたらすという現実的な問題である。
本研究は, 急激な二重降下は騒音発生に要するが, 第2の臨界騒音レベル以上の早期停止は有効であることを示す。
論文 参考訳(メタデータ) (2021-08-26T19:19:17Z) - CPT: Efficient Deep Neural Network Training via Cyclic Precision [24.218905131408288]
DNNの精度は、DNNトレーニング中の学習率と同じような効果がある可能性があると推測する。
本稿では,2つの境界値の精度を変化させるサイクル精度訓練(CPT)を提案する。
論文 参考訳(メタデータ) (2021-01-25T02:56:18Z) - Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。
また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文 参考訳(メタデータ) (2020-02-26T15:40:50Z) - Regularized Evolutionary Population-Based Training [11.624954122221562]
本稿では、DNNの重みのトレーニングと損失関数のメタラーニングをインターリーブするEPBT(Population-Based Training)アルゴリズムを提案する。
EPBTは画像分類ベンチマークを高速かつ正確に学習する。
論文 参考訳(メタデータ) (2020-02-11T06:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。