論文の概要: Unveiling Memorization-Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise

• arxiv url: http://arxiv.org/abs/2605.18022v1
• Date: Mon, 18 May 2026 08:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.110248
• Title: Unveiling Memorization-Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise
• Title（参考訳）: 記憶の解放-一般化共存:ラベルノイズを伴う算術的課題を事例として
• Authors: Linyu Liu, Pinyan Lu,
• Abstract要約: ノイズラベルはクリーンデータよりも高速に記憶される一方、適切な最適化やモデル構成の下では、より大きなモデルはより一般化されがちである。 本稿では,ネットワークを一般化・記憶要素に分割するタスク非依存手法を提案する。
• 参考スコア（独自算出の注目度）: 10.108345815812639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Highly over-parameterized models can simultaneously memorize noisy labels and generalize well, yet how these behaviors coexist remains poorly understood. In this work, we investigate the underlying mechanisms of this coexistence using modular arithmetic tasks under heavy label noise. Through extensive experiments on two-layer neural networks, we find that larger models tend to generalize better under appropriate optimization and model configurations, while noisy labels are memorized faster than clean data. Over-parameterized models internally form a generalization structure, but its expression in the output is suppressed by the need to fit noisy labels. Remarkably, even with 80\% label noise, near-perfect test accuracy can be achieved by extracting this internal structure using frequency-based methods. We further propose a task-agnostic method to partition networks into generalization and memorization components. Although this subnetwork improves generalization, it is limited compared with frequency-based extraction, indicating that the generalization structure is distributed across neurons and motivating the development of new tools to retrieve generalizable knowledge from over-parameterized networks.
• Abstract（参考訳）: 過度にパラメータ化されたモデルでは、ノイズラベルを同時に記憶し、適切に一般化することができるが、これらの挙動が共存する方法については理解されていない。 本研究では,重ラベル雑音下でのモジュラー演算タスクを用いて,この共存の基盤となるメカニズムについて検討する。 2層ニューラルネットワークの広範な実験により、より大規模なモデルは適切な最適化やモデル構成の下でより一般化する傾向にあり、ノイズラベルはクリーンデータよりも高速に記憶されることがわかった。 過パラメータ化モデルは内部で一般化構造を形成するが、その出力における表現はノイズラベルに適合する必要により抑制される。 顕著なことに、80 %のラベルノイズであっても、周波数ベース手法を用いて内部構造を抽出することにより、ほぼ完璧なテスト精度が得られる。 さらに,ネットワークを一般化・記憶要素に分割するタスク非依存手法を提案する。 このサブネットワークは、一般化を改善するが、周波数ベース抽出と比較して制限されており、一般化構造がニューロンに分散し、過パラメータ化されたネットワークから一般化可能な知識を取得するための新しいツールの開発を動機付けていることを示している。

関連論文リスト

• Beyond the Training Distribution: Mapping Generalization Boundaries in Neural Program Synthesis [13.460704771478866]
  プログラム合成ベンチマークにおいて,大規模トランスフォーマーは印象的な結果を得る。 しかし、その真の一般化能力は、データ汚染と不透明なトレーニングコーパスによって隠蔽されている。 ドメイン固有の算術文法に基づく厳密に制御されたプログラム合成環境を提案する。
  論文  参考訳（メタデータ） (2026-04-30T07:58:39Z)
• Generative Classifiers Avoid Shortcut Solutions [84.23247217037134]
  分類に対する差別的なアプローチは、しばしば、分配されるが、小さな分布シフトの下で失敗するショートカットを学習する。 生成型分類器は、主にスパイラルな特徴ではなく、コアとスパイラルの両方の全ての特徴をモデル化することでこの問題を回避することができることを示す。 拡散型および自己回帰型生成型分類器は,5つの標準画像およびテキスト分散シフトベンチマークにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-12-31T18:31:46Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Fighting over-fitting with quantization for learning deep neural networks on noisy labels [7.09232719022402]
  両問題に一度に対処できる圧縮法について検討する。 我々は、ニューラルネットワークの表現性を制限することによって、量子化を意識したトレーニングが正規化として振る舞うことを仮定する。
  論文  参考訳（メタデータ） (2023-03-21T12:36:58Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Robust Training under Label Noise by Over-parameterization [41.03008228953627]
  本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。 ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。 注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
  論文  参考訳（メタデータ） (2022-02-28T18:50:10Z)
• Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
  特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。 合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-02-04T15:46:27Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Learning from Noisy Labels for Entity-Centric Information Extraction [17.50856935207308]
  エンティティ中心の情報抽出のための単純な共正規化フレームワークを提案する。 これらのモデルはタスク固有の損失と共同最適化され、同様の予測を生成するために正規化される。 結局のところ、トレーニングされたモデルのいずれかを推論に利用できます。
  論文  参考訳（メタデータ） (2021-04-17T22:49:12Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Generalization by Recognizing Confusion [3.018691733760647]
  自己適応型トレーニング技術は、トレーニングラベルをオンザフライで調整することで、現代のニューラルネットワークを強化する。 自己適応目標とミキシングアップを組み合わせることで、画像認識のための自己適応モデルの精度をさらに向上する。 これらのアルゴリズムのラデマチャー複雑性は低く、証明可能な一般化への新たな道のりが示唆されている。
  論文  参考訳（メタデータ） (2020-06-13T22:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。