論文の概要: The Effect of Label Noise on the Information Content of Neural Representations

• arxiv url: http://arxiv.org/abs/2510.06401v1
• Date: Tue, 07 Oct 2025 19:27:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.168788
• Title: The Effect of Label Noise on the Information Content of Neural Representations
• Title（参考訳）: ニューラル表現の情報量に及ぼすラベルノイズの影響
• Authors: Ali Hussaini Umar, Franky Kevin Nando Tezoh, Jean Barbier, Santiago Acevedo, Alessandro Laio,
• Abstract要約: 教師付き分類タスクでは、モデルは各データポイントのラベルを予測するために訓練される。 実世界のデータセットでは、これらのラベルはアノテーションエラーのためにしばしばうるさい。 ディープラーニングモデルの性能に対するラベルノイズの影響はいまだよく分かっていない。
• 参考スコア（独自算出の注目度）: 40.16192460363009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In supervised classification tasks, models are trained to predict a label for each data point. In real-world datasets, these labels are often noisy due to annotation errors. While the impact of label noise on the performance of deep learning models has been widely studied, its effects on the networks' hidden representations remain poorly understood. We address this gap by systematically comparing hidden representations using the Information Imbalance, a computationally efficient proxy of conditional mutual information. Through this analysis, we observe that the information content of the hidden representations follows a double descent as a function of the number of network parameters, akin to the behavior of the test error. We further demonstrate that in the underparameterized regime, representations learned with noisy labels are more informative than those learned with clean labels, while in the overparameterized regime, these representations are equally informative. Our results indicate that the representations of overparameterized networks are robust to label noise. We also found that the information imbalance between the penultimate and pre-softmax layers decreases with cross-entropy loss in the overparameterized regime. This offers a new perspective on understanding generalization in classification tasks. Extending our analysis to representations learned from random labels, we show that these perform worse than random features. This indicates that training on random labels drives networks much beyond lazy learning, as weights adapt to encode labels information.
• Abstract（参考訳）: 教師付き分類タスクでは、モデルは各データポイントのラベルを予測するために訓練される。 実世界のデータセットでは、これらのラベルはアノテーションエラーのためにしばしばうるさい。 ディープラーニングモデルの性能に対するラベルノイズの影響は広く研究されているが、ネットワークの隠れ表現への影響はよく分かっていない。 我々は,条件付き相互情報の計算効率の良いプロキシであるインフォメーション・インバランスを用いて,隠蔽表現を体系的に比較することで,このギャップに対処する。 この分析により、隠れた表現の情報内容は、テストエラーの振る舞いに類似した、ネットワークパラメータ数の関数として二重降下に従うことが分かる。 さらに、過度にパラメータ化された状態においては、ノイズラベルで学習された表現はクリーンラベルで学んだものよりも情報的であり、一方、過度にパラメータ化された状態では、これらの表現は同様に情報的であることを示す。 以上の結果から,過パラメータネットワークの表現はノイズのラベル付けに頑健であることが示唆された。 また, 過パラメータ化状態において, 垂直層とソフトマックス層との間の情報不均衡は, クロスエントロピー損失とともに減少することがわかった。 これは、分類タスクにおける一般化を理解するための新しい視点を提供する。 ランダムラベルから学習した表現に解析を拡張することにより,これらがランダムな特徴よりも悪い性能を示すことを示す。 これは、ラベル情報のエンコードに重みが適応するため、ランダムラベルのトレーニングが遅延学習以上のネットワークを駆動していることを示している。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis [69.48582264712854]
  本研究では,頑健な視覚的感情分析を行うための頑健な学習手法を提案する。 本手法は,トレーニング中にノイズラベルを集約・フィルタリングするために外部メモリに依存している。 公開データセットを用いたラベルノイズを用いた視覚的感情分析のベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-09-15T18:18:28Z)
• Noisy Labels Can Induce Good Representations [53.47668632785373]
  アーキテクチャがノイズラベルによる学習に与える影響について検討する。 ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。 この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
  論文  参考訳（メタデータ） (2020-12-23T18:58:05Z)
• Combining Self-Supervised and Supervised Learning with Noisy Labels [41.627404715407586]
  畳み込みニューラルネットワーク(CNN)は、ノイズの多いラベルに容易に適合する。 CNNを堅牢にトレーニングすることは、大きな課題でした。
  論文  参考訳（メタデータ） (2020-11-16T18:13:41Z)
• Exploiting Context for Robustness to Label Noise in Active Learning [47.341705184013804]
  本稿では,どのラベルが間違っているのかをシステムがどのように識別するか,ラベルノイズの負の影響を最小限に抑えるために,マルチクラスアクティブラーニングシステムをどのように適用できるか,といった課題に対処する。 我々は、これらの関係を符号化し、ノイズラベルが利用できる場合にグラフ上の新しい信念を得るために、ラベルなしデータのグラフィカルな表現を構築した。 これはシーン分類、アクティビティ分類、文書分類の3つの異なる応用で実証されている。
  論文  参考訳（メタデータ） (2020-10-18T18:59:44Z)
• Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
  大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。 大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。 本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
  論文  参考訳（メタデータ） (2020-09-30T15:45:36Z)
• Improving Generalization by Controlling Label-Noise Information in Neural Network Weights [33.85101318266319]
  ノイズや誤ったラベルが存在する場合、ニューラルネットワークはノイズに関する情報を記憶する好ましくない傾向にある。 ドロップアウト、ウェイト崩壊、データ増大といった標準的な正則化技術は、時折役立つが、そのような振舞いを防げない。 任意のトレーニングアルゴリズムに対して、この項の低値はラベルノイズの記憶の減少とより良い境界の減少に対応していることを示す。
  論文  参考訳（メタデータ） (2020-02-19T00:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。