論文の概要: Random Label Prediction Heads for Studying Memorization in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2607.11541v1
• Date: Mon, 13 Jul 2026 13:26:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.481897
• Title: Random Label Prediction Heads for Studying Memorization in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおける暗記学習のためのランダムラベル予測ヘッド
• Abstract要約: 分類タスクのためのディープニューラルネットワークにおける暗記を経験的に研究するための、単純で効果的な方法を提案する。 提案手法は,ランダムラベル予測ヘッド(RLPヘッド)によって予測される補助ランダムラベルを用いて,各トレーニングサンプルを増強する。 我々は、このランダムラベル精度の指標を利用して、異なるモデルやデータセットの一般化と過剰適合を分析する。
• 参考スコア（独自算出の注目度）: 3.134883909555613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a straightforward yet effective method to empirically study memorization in deep neural networks for classification tasks. Our approach augments each training sample with auxiliary random labels, which are then predicted by a random label prediction head (RLP-head). RLP-heads can be attached at arbitrary depths of a network, predicting random labels from the corresponding intermediate representation and thereby enabling analysis of how memorization capacity evolves across layers. By interpreting the RLP-head performance as an empirical estimate of Rademacher complexity, we obtain a direct measure of both sample-level memorization and model capacity. We leverage this random label accuracy metric to analyze generalization and overfitting in different models and datasets. Building on this approach, we further propose a novel regularization technique based on the output of the RLP-head, which demonstrably reduces memorization. Interestingly, our experiments reveal that reducing memorization can either improve or impair generalization, depending on the dataset and training setup. These findings challenge the traditional assumption that overfitting is equivalent to memorization and suggest new hypotheses to reconcile these seemingly contradictory results. The source code is available at https://github.com/MarlonBecker/RandomLabelHeads
• Abstract（参考訳）: 分類タスクのためのディープニューラルネットワークにおける暗記を経験的に研究するための、単純で効果的な方法を提案する。 提案手法は,ランダムラベル予測ヘッド (RLP-head) によって予測される補助的ランダムラベルを用いて,各トレーニングサンプルを増強する。 RLPヘッドはネットワークの任意の深さでアタッチすることができ、対応する中間表現からランダムなラベルを予測し、これにより、層間の記憶能力がどのように進化するかを解析できる。 RLPヘッド性能をRademacher複雑性の実証的推定として解釈することにより,サンプルレベルの記憶とモデル容量の両方の直接測定値を得る。 我々は、このランダムラベル精度の指標を利用して、異なるモデルやデータセットの一般化と過剰適合を分析する。 提案手法では,RLPヘッドの出力に基づく新たな正規化手法を提案する。 興味深いことに、我々の実験は、記憶の減少が、データセットやトレーニング設定によって改善または一般化を損なう可能性があることを明らかにした。 これらの発見は、オーバーフィッティングが記憶と等価であるという従来の仮定に挑戦し、これらの矛盾した結果を再現する新たな仮説を提案する。 ソースコードはhttps://github.com/MarlonBecker/RandomLabelHeadsで入手できる。

関連論文リスト

• Amortized Variational Inference for Partial-Label Learning: A Probabilistic Approach to Label Disambiguation [2.7214777196418645]
  部分ラベル学習列車は、各インスタンスが候補ラベルのセットに関連付けられているときに分類する。 本稿では,アモータライズされた変分推論を用いて,真のラベル上の後部分布を直接近似する新しいフレームワークを提案する。 提案手法はニューラルネットワークを用いて入力データから変動パラメータを予測し,効率的な推論を可能にする。
  論文  参考訳（メタデータ） (2025-10-24T09:54:23Z)
• Simultaneous Automatic Picking and Manual Picking Refinement for First-Break [9.869865340964576]
  我々は、外れ値やノイズのあるラベルに悩まされるデータセットを扱うために設計された、同時ピッキング・リファインメント(SPR)アルゴリズムを導入する。 本手法では,手動ピックを基本真理とみなす従来の手法とは異なり,本手法は確率モデルにおいて,真のファーストブレイクを潜在変数として扱う。 SPRは、自動ファーストブレイクピッキングにおける主要な障害のいくつかに対して、堅牢なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-02-03T16:05:57Z)
• Learned Random Label Predictions as a Neural Network Complexity Metric [0.6577148087211809]
  本研究では,教師付き学習におけるクラスラベルと並行してランダムに生成されたラベルの学習が,深層ニューラルネットワークの記憶,モデル複雑性,一般化に与える影響について検討する。 公平なAIで使用される手法にインスパイアされた我々の手法は、ランダムなラベルの学習を可能にし、ネットワークが個々のサンプルを記憶するのを防ぐ。
  論文  参考訳（メタデータ） (2024-11-29T11:52:59Z)
• Probably Approximately Precision and Recall Learning [60.00180898830079]
  機械学習における重要な課題は、一方的なフィードバックの頻度である。 本稿では,確率的近似(PAC)フレームワークを導入し,各入力をラベルの集合にマッピングする仮説を定めている。 我々は、正のデータのみから学習する新しいアルゴリズムを開発し、実現可能な場合において最適なサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• LOPS: Learning Order Inspired Pseudo-Label Selection for Weakly Supervised Text Classification [28.37907856670151]
  擬似ラベルは性質上ノイズが多いため、正しいラベルを選択すると性能が向上する可能性がある。 本稿では,サンプルの学習順序を考慮に入れた新しい擬似ラベル選択手法LOPSを提案する。 LOPSは、既存の弱い教師付きテキスト分類手法のほとんどに対して、強力なパフォーマンスブーストプラグインと見なすことができる。
  論文  参考訳（メタデータ） (2022-05-25T06:46:48Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Exploring Memorization in Adversarial Training [58.38336773082818]
  本稿では, 能力, 収束, 一般化, 特に強靭なオーバーフィッティングの深い理解を促進するための, 対人訓練(AT)における記憶効果について検討する。 本稿では,詳細な記憶分析を動機とした新たな緩和アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-03T05:39:57Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。