論文の概要: An Information Budget for Label-Noise Memorization, and What Statistical Complexity Tracks: A Study with Multilayer Perceptrons

• arxiv url: http://arxiv.org/abs/2611.04199v1
• Date: Tue, 03 Nov 2026 02:35:14 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:33:04.924882
• Title: An Information Budget for Label-Noise Memorization, and What Statistical Complexity Tracks: A Study with Multilayer Perceptrons
• Title（参考訳）: ラベルノイズ記憶のための情報予算と統計的複雑度 -多層受容器を用いた検討-
• Abstract要約: 我々は,多層パーセプトロンとその予測記述に対する統計的複雑性について検討する。 ファノ型境界は、それを訓練精度に関連付けるが、記憶された分数 M は上界を持たない。 89以上のMNISTが10の仮説で実行され、Mがトレーニングサンプルに蓄積された正規化記憶情報は、新しいノイズラベルを持つ保持されたサンプルではゼロに近づき、ファノ境界に近かった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: How much label noise has a network memorized, and when? We study a multilayer perceptron and what statistical complexity adds to a description of its predictions. Standard identities decompose predictive information into signal, memorization, and heterogeneity. The memorization term vanishes in the population under the stated noise-independence condition. A Fano-type bound relates it to training accuracies, but the memorized fraction M provides no upper bound. Across 89 MNIST runs with ten pre-specified hypotheses (five supported, four unsupported, one not testable), normalized memorization information rose with M on training samples, remained near zero on held-out samples with fresh noisy labels, and was close to its Fano bound. Unlike raw M, it has a zero population null under the independence condition and chance correction largely removed this difference. When every label was replaced by an incorrect class, test accuracy fell to 0.5%, yet predictions retained information about the true class. Mean statistical complexity peaked before memorization at corruption rates up to 40%. At higher rates, its peak fell within the memorization phase, near the epoch when mean training confidence reached 0.6 and the two could not be separated. As a stopping rule, it matched established rules only at low noise and detected corrupted samples less well than simple label-free scores. An exploratory extension of 280 runs covering Fashion-MNIST, pair-flip noise, and four training variants yielded similar results under uniform noise, but not pair-flip noise, where complexity peaked within two epochs. Conclusions are limited to this architecture, two small datasets, and synthetic noise.
• Abstract（参考訳）: どのくらいのラベルノイズがネットワークに記憶されているのか、いつなのか? 我々は,多層パーセプトロンとその予測記述に対する統計的複雑性について検討する。 標準アイデンティティは、予測情報を信号、記憶、異種に分解する。 暗記項は、記載されたノイズ独立条件の下で、人口において消滅する。 ファノ型境界は、それを訓練精度に関連付けるが、記憶された分数 M は上界を持たない。 89以上のMNISTは10の仮説(5つのサポート、4つのサポート、一つはテスト不可能)で実行され、Mがトレーニングサンプルに蓄積された正常化記憶情報は、新しいノイズラベルを持つ保留サンプルでゼロに近づき、ファノ境界に近かった。 生 M とは異なり、独立条件下ではゼロの個体数はゼロであり、確率補正によりこの差は大きく取り除かれる。 すべてのラベルが不正なクラスに置き換えられると、テストの精度は0.5%に低下したが、予測は真のクラスに関する情報を保持した。 平均的な統計複雑性は、腐敗率で記憶される前に最大40%まで上昇した。 高い速度では、トレーニング信頼度が0.6に達して2つを分離できないと、そのピークは暗記段階(エポシック付近)に低下した。 停止規則として、低雑音でのみ確立された規則と一致し、単純なラベルフリースコアよりも劣化したサンプルを検出した。 280の探索的拡張は、Fashion-MNIST、ペアフリップノイズ、および4つのトレーニング変種をカバーする。 結論は、このアーキテクチャ、2つの小さなデータセット、合成ノイズに限られる。

関連論文リスト

• RepFace: Refining Closed-Set Noise with Progressive Label Correction for Face Recognition [7.436952568257183]
  顔認識性能はラベルノイズ、特にクローズドセットノイズに大きく影響を受ける。 早期のトレーニングを安定させる新しい枠組みを提案し,サンプルをクリーンであいまいでうるさいグループに分割する。 本手法は,メインストリームの顔データセット上での最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2024-12-16T17:57:33Z)
• Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
  そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。 それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。 次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
  論文  参考訳（メタデータ） (2023-08-13T14:05:24Z)
• Binary Classification with Instance and Label Dependent Label Noise [4.061135251278187]
  ノイズの多いサンプルによる学習は、クリーンなサンプルへのアクセスやデータの分布に関する強い仮定なしには不可能であることを示す。 その結果, ノイズの多いサンプルのみによる学習は, クリーンなサンプルへのアクセスや, データの分布に関する強い仮定なしには不可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T04:47:44Z)
• Label-Noise Learning with Intrinsically Long-Tailed Data [65.41318436799993]
  本稿では,本質的な長期データを用いたラベルノイズ学習のための学習フレームワークを提案する。 具体的には, 2段階の2次元試料選択法(TABASCO)を提案する。
  論文  参考訳（メタデータ） (2022-08-21T07:47:05Z)
• Uncertainty-Aware Learning Against Label Noise on Imbalanced Datasets [23.4536532321199]
  不整合データセットのラベルノイズを処理するための不確かさを意識したラベル補正フレームワークを提案する。 本研究では,不均衡なデータセットのラベルノイズを処理するために,不確かさを意識したラベル補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T11:35:55Z)
• Combating Noise: Semi-supervised Learning by Region Uncertainty Quantification [55.23467274564417]
  現在の手法は、擬似ラベルによって生成されるノイズの多い領域によって容易に妨げられる。 領域の不確実性を定量化して雑音耐性半教師付き学習を提案する。 PASCAL VOCとMS COCOの併用実験により,本手法の異常な性能を実証した。
  論文  参考訳（メタデータ） (2021-11-01T13:23:42Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Confidence Scores Make Instance-dependent Label-noise Learning Possible [129.84497190791103]
  ノイズのあるラベルで学習する際、そのラベルはノイズモデルと呼ばれる遷移分布に従ってランダムに他のクラスに移動することができる。 我々は、各インスタンスラベル対に信頼スコアを付与する、信頼スコア付きインスタンス依存ノイズ(CSIDN)を導入する。 信頼性スコアの助けを借りて、各インスタンスの遷移分布を推定できる。
  論文  参考訳（メタデータ） (2020-01-11T16:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。