論文の概要: Canalization Before Generalization: Grokking as a Dynamical Probe

• arxiv url: http://arxiv.org/abs/2608.25813v1
• Date: Wed, 26 Aug 2026 13:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.849684
• Title: Canalization Before Generalization: Grokking as a Dynamical Probe
• Title（参考訳）: 一般化前の運河化 - 動的プローブとしてのグラッキング
• Abstract要約: グロキングは、トレーニングを可視的一般化と区別する。 私たちは、この選択がトレーニング中にどのように発展するかを測定します。 このような制約付き解選択と持続的線量順序の時間感度の組み合わせを関数選択のカナリゼーションと呼ぶ。
• 参考スコア（独自算出の注目度）: 1.063630661049049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For overparameterized neural networks, many solutions can fit the training data equally well while behaving very differently on unseen samples. Grokking separates training fit from visible generalization, providing a window for studying how this selection develops during training. We sweep short, fixed-duration weight-decay (WD) pulses across this plateau and measure how they shift later generalization time. Across three grokking tasks, these shifts are unordered early in the plateau but later form a stable dose ordering, with stronger WD increases leading to earlier generalization and stronger WD decreases leading to later generalization. This ordering emerges before visible generalization in all three tasks. Meanwhile, test-loss barriers between perturbed and baseline generalization checkpoints collapse toward zero while the ordered timing effects persist. We call this combination of increasingly constrained solution selection and persistent dose-ordered timing sensitivity the canalization of function selection.
• Abstract（参考訳）: 過度にパラメータ化されたニューラルネットワークでは、多くのソリューションがトレーニングデータに等しく適合すると同時に、目に見えないサンプルに対して非常に異なる振る舞いをすることができる。 グロキングは、トレーニングを可視的な一般化から切り離し、この選択がトレーニング中にどのように発達するかを研究するための窓を提供する。 我々は、この高原を横断する短波長の固定重畳デカイ(WD)パルスを網羅し、一般化時間後にどのようにシフトするかを測定する。 3つのグルーキングタスク全体で、これらのシフトは高原の早期に順序付けされないが、後に安定な線量秩序を形成し、より強いWDが増加し、初期の一般化とより強いWDが減少し、後の一般化へと繋がる。 この順序付けは、3つのタスクすべてにおいて可視的な一般化の前に現れる。 一方、乱れとベースライン一般化チェックポイントの間のテストロス障壁は、順序付けられたタイミング効果が持続している間にゼロに崩壊する。 このような制約付き解選択と持続的線量順序の時間感度の組み合わせを関数選択のカナリゼーションと呼ぶ。

関連論文リスト

• How to Tame Grokking: Representation Geometry as a Control Signal [0.0]
  グロキング(Grokking)は、ニューラルネットワークがトレーニングデータを記憶し、長い最適化後に強い一般化を示す現象である。 本稿では,隠れ表現の効果的な次元性を変化させる簡易なスペクトル正規化器GeomDRについて紹介する。 いくつかの設定では、グラッキングは標準のAdamW訓練と比較して最大52倍加速される。
  論文  参考訳（メタデータ） (2026-07-13T15:09:42Z)
• Triadic Dynamics Aware Diffusion Posterior Sampling for Inverse Problems: Optimizing Guidance and Stochasticity Schedules [28.299289148738392]
  生成的サンプリングは、イメージングにおける逆問題を解決する主要なパラダイムとして現れてきた。 先行技術は、各またはすべてのコンポーネントの開発方法に重点を置いているが、それらをスケジュールする方法にはあまり注意が向けられていない。 そこで本研究では,スケジューリングにおける3つのコンポーネント間のインタラクションが,性能向上に不可欠である,と論じる。
  論文  参考訳（メタデータ） (2026-05-26T02:27:30Z)
• Tracing the Path to Grokking: Embeddings, Dropout, and Network Activation [0.0]
  グロキング(Grokking)とは、トレーニング精度の向上後にニューラルネットワークのテスト精度が向上する遅延一般化のこと。 本稿では, 落下時の分散, 強靭性, 埋め込み類似性, 余剰性など, グルーキングの挙動を予測できる指標をいくつか紹介する。
  論文  参考訳（メタデータ） (2025-07-15T18:30:42Z)
• Let Me Grok for You: Accelerating Grokking via Embedding Transfer from a Weaker Model [26.536857505794092]
  「グロキング」とは、ニューラルネットワークがトレーニングデータを最初に記憶し、一般化が不十分な現象であるが、訓練が長引いた後に突然、ほぼ完全な一般化へと移行する現象である。 本稿では、ニューラルネットワークのトレーニングにおいて、グラッキングを高速化する簡易かつ原理的な方法であるGrokTransferを提案する。 我々は、通常訓練において遅延一般化が常に発生する合成XORタスクにおいて、GrokTransferがターゲットモデルを遅延なく直接一般化できるようにすることを厳密に証明する。
  論文  参考訳（メタデータ） (2025-04-17T19:08:40Z)
• The Right Time Matters: Data Arrangement Affects Zero-Shot Generalization in Instruction Tuning [86.19804569376333]
  インストラクションチューニングにおいてゼロショットの一般化は非常に早い段階で起こることを示す。 より基礎的なトレーニングデータアレンジメントフレームワークであるテスト中心型マルチターンアレンジメントを提案する。
  論文  参考訳（メタデータ） (2024-06-17T16:40:21Z)
• Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking [81.57031092474625]
  Powerらによる最近の研究は、算術のタスクを学習する際の驚くべき"グロキング"現象を強調した。 ニューラルネットワークはまずトレーニングセットを“記憶”し、完全なトレーニング精度を持つが、ほぼランダムなテスト精度を実現する。 本論文は, 理論設定におけるグルーキング現象を考察し, 初期および後期の暗黙バイアスの2分法により誘導可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-30T18:55:38Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Boosted Ensemble Learning based on Randomized NNs for Time Series Forecasting [0.0]
  時系列予測は、特に時系列が複数の季節性、非線形傾向、変動の変動を表現する場合、難しい問題である。 本稿では,ランダムなニューラルネットワークに基づくアンサンブル学習を提案する。
  論文  参考訳（メタデータ） (2022-03-02T09:43:18Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates [67.19481956584465]
  飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。 結果がタイトであることを示し、数値実験で重要な結果を示しています。
  論文  参考訳（メタデータ） (2021-03-03T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。