論文の概要: Flat Loss, Evolving Features: Grokking in Modular Addition

• arxiv url: http://arxiv.org/abs/2610.22593v1
• Date: Thu, 15 Oct 2026 19:43:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.642567
• Title: Flat Loss, Evolving Features: Grokking in Modular Addition
• Title（参考訳）: フラットな損失と進化する機能 - モジュール追加におけるグロッキング
• Abstract要約: PolarでトレーニングされたReLUネットワークは、隠れた機能が変更されている間、100%のトレーニング精度を維持することができることを示す。 2つの有限ウィンドウ定理において、この共存性を証明した。
• 参考スコア（独自算出の注目度）: 2.5023123591430223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can a network keep learning while its training cross-entropy stays nearly flat at a positive level? We show that it can. On modular addition, a standard testbed for grokking, ReLU networks trained with supported-Polar hidden updates, normalized output-layer updates and weight decay can keep 100% training accuracy while their hidden features change and held-out accuracy rises from zero to above 90%, at relatively flat training cross-entropy. Correct classification need not minimize cross-entropy, which still depends on prediction confidence. We prove this coexistence for one-hidden-layer networks in two finite-window theorems from constructed initializations: one gives a constant gain in the Fourier fraction of the hidden features, and the other holds at arbitrarily low positive loss, where a readout refitted on the training data generalizes before the network. Experiments from random initialization show the same coexistence on a window fixed in advance, and in deeper networks held-out accuracy also rises over post-hoc windows with a net increase in training cross-entropy. With a last-layer rate set per training fraction and head decay scaled with the prime, deeper networks at p=47 and 61 meet a criterion on post-hoc windows, fixed in advance, in nearly all fresh runs. A one-block transformer trained with the same updates and a slowly decaying output gain keeps every training pair correct at every logged checkpoint while its training cross-entropy rises and its held-out accuracy approaches one; with two blocks this holds through the held-out rise, after which training pairs begin to flip. A plateau in training loss need not be a plateau in learning. Code: https://github.com/akashkumar-d/flat-loss-evolving-features.
• Abstract（参考訳）: ネットワークは学習を続けることができるのか? 私たちはそれが可能であることを示す。 モジュール追加では、グラッキングのための標準的なテストベッドとして、サポート対象の隠れた更新、正規化された出力層更新、およびウェイト崩壊でトレーニングされたReLUネットワークは、100%のトレーニング精度を維持しながら、隠れた特徴が変化し、比較的平坦なクロスエントロピーで保持される精度がゼロから90%以上上昇する。 正確な分類は、予測信頼度に依存しているクロスエントロピーを最小限にする必要はない。 構築された初期化から得られた2つの有限ウィンドウ定理において、この1つの隠れた層ネットワークに対する共存性を証明する: 1つは隠れた特徴のフーリエ分数において一定の利得を与え、もう1つは任意に低い正の損失を保ち、トレーニングデータに適合した読み出しはネットワークの前に一般化する。 ランダム初期化実験は、予め固定されたウィンドウ上で同じ共存性を示し、より深いネットワークのホールドアウト精度は、トレーニングのクロスエントロピーが増加し、ポストホックウィンドウ上でも上昇する。 トレーニング分数当たりの最後の層率と頭部崩壊は素数とともにスケールし、p=47と61の深いネットワークは、ほとんどすべての新鮮なランニングで予め固定されたポストホックウィンドウの基準を満たす。 同じ更新と緩やかな出力ゲインでトレーニングされたワンブロックトランスフォーマーは、ログされたチェックポイント毎にすべてのトレーニングペアを正しく保ち、トレーニングのクロスエントロピーが上昇し、保持された精度が1に近づく。 訓練損失の高原は学習の高原である必要はない。 コード:https://github.com/akashkumar-d/flat-loss-evolving-features。

関連論文リスト

• Learning to Extrapolate in Depth with Looped Transformers [46.17633452082173]
  ループ変換器は繰り返しにまたがってひとつのブロックを再利用し、自然な疑問を提起する。 本研究では、より難しいグラフがより長い範囲の情報伝達を必要とする全ペアグラフ接続について検討する。 このウィンドウに対して明確なエンドポイントを導出し、トレーニングの深さと硬さの関数としてトレーニングを超えて解けるグラフ硬度を束縛する。
  論文  参考訳（メタデータ） (2026-10-10T01:30:59Z)
• Grokking as the Transition from Lazy to Rich Training Dynamics [35.186196991224286]
  グルーキングは、ニューラルネットワークの列車の損失がテスト損失よりもはるかに早く減少するときに起こる。 グルーキングの主要な要因は、特徴学習の速度と、初期特徴と対象関数とのアライメントである。
  論文  参考訳（メタデータ） (2023-10-09T19:33:21Z)
• Benign Overfitting and Grokking in ReLU Networks for XOR Cluster Data [42.870635753205185]
  勾配降下(GD)によって訓練されたニューラルネットワークは、多くの驚くべき一般化挙動を示した。 これらの現象は、XORクラスタデータ上でGDによって訓練された2層ReLUネットワークにおいて、良好に発生することを示す。 後続のトレーニングステップでは、ネットワークはトレーニングデータにランダムラベルをいまだに適合させながら、ほぼ最適のテスト精度を達成し、"グロッキング"現象を示す。
  論文  参考訳（メタデータ） (2023-10-04T02:50:34Z)
• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• Killing Two Birds with One Stone:Efficient and Robust Training of Face Recognition CNNs by Partial FC [66.71660672526349]
  部分FC (Partial FC) という,完全連結層 (FC) のスパース更新版を提案する。 各イテレーションにおいて、マージンベースのソフトマックス損失を計算するために、正のクラスセンターと負のクラスセンターのランダムなサブセットが選択される。 計算要求、クラス間衝突の確率、テールクラスセンターにおけるパッシブ更新の頻度は劇的に減少する。
  論文  参考訳（メタデータ） (2022-03-28T14:33:21Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。