論文の概要: The Grokked Illusion: True Equilibrium Mitigates Catastrophic Forgetting
- arxiv url: http://arxiv.org/abs/2607.29503v1
- Date: Fri, 31 Jul 2026 15:07:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.777118
- Title: The Grokked Illusion: True Equilibrium Mitigates Catastrophic Forgetting
- Title（参考訳）: グラクテッド・イリュージョン:真の平衡は破滅的な期待を和らげる
- Abstract要約: 我々は、モデルがその後、新しい情報を取得するために訓練されたときの、頑健さ、学習知識を維持する能力について検討する。
その結果,AdamW訓練モデルでは,タスクテストの精度が100%から75%以下に低下し,破滅的な忘れ込みに悩まされていることがわかった。
我々は、この隠れた不安定さを「グロクテッドイリュージョン」の明らかな一般化の裏側で表現する。
- 参考スコア（独自算出の注目度）: 10.558597505301611
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While neural networks are typically evaluated by their training and test performance, these metrics do not reveal how robust a learned representation is. Recent studies have shown that solutions occupying larger volumes in parameter space, as quantified by Boltzmann entropy, often exhibit superior generalizability compared to those reached by conventional optimization, a phenomenon known as the high entropy advantage. Here we ask whether this advantage persists beyond generalization. Specifically, we investigate models' robustness, the ability to retain the learned knowledge when the model is subsequently trained to acquire new information. Using grokking in modular arithmetic as a controlled setting, we design a noise injection experiment to evaluate the robustness difference between AdamW-trained transformers and high-entropy model sampled from Wang-Landau Molecular Dynamics with identical saturated performance. By forcing both models to fully remember new data with random labels, we find that AdamW-trained models suffer from catastrophic forgetting, with original task test accuracy dropping from 100% to below 75%, whereas the high-entropy models maintain approximately 95% test accuracy. We term this hidden fragility behind apparent generalization the "grokked illusion." Through singular value decomposition of the neural network weights, we discover that high-entropy neural networks possess significantly higher effective rank in attention and MLP layers both before and after noise injection, indicating richer feature representations can serve as a buffer against catastrophic forgetting. Our findings demonstrate that perfect generalization does not imply equal robustness, offering a new perspective on what makes a trained model robust to interference.
- Abstract（参考訳）: ニューラルネットワークは通常、トレーニングとテストのパフォーマンスによって評価されるが、これらのメトリクスは、学習した表現がどれほど堅牢であるかを明らかにしない。
近年の研究では、ボルツマンエントロピーによって定量化されるようなパラメータ空間の体積を占有する解は、しばしば従来の最適化よりも優れた一般化性を示すことが示されており、これは高エントロピー優位と呼ばれる現象である。
ここでは、この利点が一般化を超えて続くかどうかを問う。
具体的には,モデルの堅牢性,学習知識の保持能力について検討する。
モジュラー演算のグラッキングを制御条件として,Wang-Landau 分子動力学から採取した高エントロピーモデルとAdamW 学習トランスフォーマーの頑健性差を同一飽和性能で評価するノイズ注入実験を設計した。
両モデルにランダムラベルによる新しいデータの完全記憶を強制することにより,AdamW学習モデルでは,タスクテストの精度が100%から75%以下に低下するのに対して,高エントロピーモデルはおよそ95%の精度を維持していることがわかった。
我々は、この隠れた脆弱さを、明らかな一般化の裏にある「グロクテッド・イリュージョン」と呼ぶ。
ニューラルネットワーク重みの特異値分解により, 高エントロピーニューラルネットワークは, ノイズ注入前後において, 高い有効ランクとMLP層を有しており, よりリッチな特徴表現が破滅的忘れに対するバッファとして機能することを示す。
本研究は, 完全一般化がロバスト性に等しいことを示すものではないことを示し, 学習モデルが干渉に対してロバストであることの新たな視点を提供する。
関連論文リスト
- A Classical View on Benign Overfitting: The Role of Sample Size [14.36840959836957]
モデルは任意に小さなトレーニングとテストエラーの両方を同時に達成する。
この振舞いはニューラルネットワークの特徴であり、しばしば低い(しかしゼロではない)トレーニングエラーを達成するが、それでもよく一般化される。
論文 参考訳（メタデータ） (2025-05-16T18:37:51Z) - Rethinking Benign Overfitting in Two-Layer Neural Networks [2.486161976966064]
我々は、クラス依存の異種ノイズを取り入れて特徴雑音データモデルを洗練し、ニューラルネットワークにおける過剰適合現象を再検討する。
ニューラルネットワークは「データノイズ」を利用して暗黙的な特徴を学習し、長い尾を持つデータの分類精度を向上させる。
論文 参考訳（メタデータ） (2025-02-17T15:20:04Z) - The Surprising Harmfulness of Benign Overfitting for Adversarial
Robustness [13.120373493503772]
根拠的真理そのものが敵の例に対して堅牢であるとしても、標準のアウト・オブ・サンプルのリスク目標の観点から見れば、明らかに過適合なモデルは良性である、という驚くべき結果が証明されます。
我々の発見は、実際に観察されたパズリング現象に関する理論的洞察を与え、真の標的関数(例えば、人間)は副次的攻撃に対して堅牢であり、一方、当初過適合のニューラルネットワークは、堅牢でないモデルに導かれる。
論文 参考訳（メタデータ） (2024-01-19T15:40:46Z) - Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。
この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
論文 参考訳（メタデータ） (2023-04-25T07:42:06Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - The curse of overparametrization in adversarial training: Precise
analysis of robust generalization for random features regression [34.35440701530876]
逆向きに訓練されたランダムな特徴モデルでは、高い過度なパラメータ化が堅牢な一般化を損なう可能性があることを示す。
提案理論は, 強靭性に対する過度パラメータ化の非自明な効果を明らかにし, 高過度パラメータ化が強靭性一般化を損なうことを示唆している。
論文 参考訳（メタデータ） (2022-01-13T18:57:30Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳（メタデータ） (2020-12-17T15:19:29Z) - Provable Benefits of Overparameterization in Model Compression: From
Double Descent to Pruning Neural Networks [38.153825455980645]
最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。
本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。
もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
論文 参考訳（メタデータ） (2020-12-16T05:13:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。