論文の概要: Forking: Sudden Overfitting Under Replay

• arxiv url: http://arxiv.org/abs/2610.00394v1
• Date: Wed, 30 Sep 2026 11:40:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.63228
• Title: Forking: Sudden Overfitting Under Replay
• Title（参考訳）: フォーク:リプレイ中の過度なオーバーフィッティング
• Abstract要約: 本稿では,NanoGPT自動検索で発見された一般化失敗であるフォークについて検討する。 データリプレイでは、過剰にエンコードされたn-gramメモリブランチを持つモデルは、トレーニングとバリデーション損失の急激な分離を示す。 機械的には、繰り返し更新はトレーニングで観察された継続を鋭くし、目に見えない継続の確率を抑える。
• 参考スコア（独自算出の注目度）: 19.949739580529194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies forking, a generalization failure discovered in NanoGPT autoresearch. Under data replay, models with an over-encoding n-gram memory branch show a sharp separation of training and validation loss at epoch boundaries, resembling the shape of forks. We study this phenomenon in a controlled vanilla NanoGPT setting and reproduce it in a DeepSeek-style model with Engram. Mechanistically, repeated updates sharpen the continuations observed in training while suppressing the probability of unseen continuations, whose loss grows with each pass. The n-gram module creates weakly interacting context-specific subspaces, amplifying this effect. Low-frequency contexts contribute most of the gap, whereas larger training budgets and heavily crowded tables suppress it. We also observe forking in short-budget, heavily repeated SFT and RL-like regimes. The contributions of this paper are twofold: (1) Forking reveals yet another curious phenomenon in deep learning, in addition to grokking and double descent. (2) Forking is an unexpected and unpleasant by-product of tricks proposed by autoresearch agents. While these agents produce an enormous number of results that seem useful, we should always be careful with their results.
• Abstract（参考訳）: 本稿では,NanoGPT自動検索で発見された一般化失敗であるフォークについて検討する。 データリプレイでは、過剰にエンコードされたn-gramメモリブランチを持つモデルは、フォークの形状に似たエポック境界でのトレーニングとバリデーション損失の急激な分離を示す。 本研究では,この現象を制御されたバニラナノGPT設定で研究し,Engramを用いたDeepSeekスタイルモデルで再現する。 機械的には、繰り返し更新はトレーニング中に観察される継続を鋭くし、各パスで損失が増大する見えない継続の確率を抑える。 n-gramモジュールは、弱相互作用するコンテキスト固有の部分空間を生成し、この効果を増幅する。 低周波の文脈はギャップの大部分に寄与するが、より大きな訓練予算と非常に混雑したテーブルはそれを抑制している。 また, 短期予算, SFT および RL 様体制のフォークも観察した。 本論文の貢献は2つある:(1)フォークは、グラッキングと二重降下に加えて、深層学習におけるもう一つの興味深い現象を明らかにしている。 2)フォークは, 自動検索エージェントが提案するトリックの予期せぬ副産物であり, 不愉快な副産物である。 これらのエージェントは有用と思われる膨大な数の結果を生み出すが、我々は常に彼らの結果に注意しなければならない。

関連論文リスト

• CRAB: Codebook Rebalancing for Bias Mitigation in Generative Recommendation [14.880449551920682]
  ジェネレーティブレコメンデーション(GeneRec)は、アイテムを個別なセマンティックトークンとして表現し、生成的な方法でアイテムを予測する新しいパラダイムを導入した。 GeneRecのアプローチは依然として深刻な人気バイアスに悩まされており、さらに悪化する可能性がある。 意味トークン間の周波数不均衡を緩和することにより、人気バイアスを緩和する、GeneRecのポストホック脱バイアス戦略であるCRABを提案する。
  論文  参考訳（メタデータ） (2026-04-06T19:18:24Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Deep Grokking: Would Deep Neural Networks Generalize Better? [51.24007462968805]
  グロキング(Grokking)とは、テストセットにおけるネットワークの一般化精度の急激な上昇を指す。 深層ニューラルネットワークは、浅いものよりもグラッキングの影響を受けやすいことがわかりました。 また,モデル深度を増大させると,興味深い多段階一般化現象が観測される。
  論文  参考訳（メタデータ） (2024-05-29T19:05:11Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• DSD$^2$: Can We Dodge Sparse Double Descent and Compress the Neural Network Worry-Free? [7.793339267280654]
  このような現象を回避し、一般化を改善する学習フレームワークを提案する。 第2に,この現象の持続性に関する洞察を提供するエントロピー尺度を導入する。 第3に、再初期化法、モデル幅と深さ、データセットノイズなどの要因を包括的に定量的に分析する。
  論文  参考訳（メタデータ） (2023-03-02T12:54:12Z)
• Sparse Double Descent: Where Network Pruning Aggravates Overfitting [8.425040193238777]
  本稿では,ネットワークプルーニングによるモデル間隔の増加に伴い,テスト性能が悪化する予期せぬ二重降下現象を報告する。 本稿では,スパースモデルの学習距離$ell_2$の曲線がスパース二重降下曲線とよく相関することを示す。
  論文  参考訳（メタデータ） (2022-06-17T11:02:15Z)
• DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization [125.5448293005647]
  教師付き学習で見られるSGDの暗黙的な正則化効果が、オフラインの深いRLでは有害である可能性について論じる。 我々の理論的解析は、暗黙正則化の既存のモデルが時間差分学習に適用された場合、導出正規化器は退化解を好むことを示している。 我々は、この暗黙的正則化の望ましくない効果に対処する、DR3と呼ばれる単純で効果的な明示的正則化器を提案する。
  論文  参考訳（メタデータ） (2021-12-09T06:01:01Z)
• When and how epochwise double descent happens [7.512375012141203]
  急激な二重降下効果は、一般化誤差が最初は減少し、その後上昇し、最終的にトレーニング時間の増加とともに再び低下する。 このことは、訓練に要する時間の長さが長く、検証性能に基づく早期停止が準最適一般化をもたらすという現実的な問題である。 本研究は, 急激な二重降下は騒音発生に要するが, 第2の臨界騒音レベル以上の早期停止は有効であることを示す。
  論文  参考訳（メタデータ） (2021-08-26T19:19:17Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。