論文の概要: Is the Information Bottleneck Robust Enough? Towards Label-Noise Resistant Information Bottleneck Learning

• arxiv url: http://arxiv.org/abs/2512.10573v1
• Date: Thu, 11 Dec 2025 12:01:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.35177
• Title: Is the Information Bottleneck Robust Enough? Towards Label-Noise Resistant Information Bottleneck Learning
• Title（参考訳）: 情報ボトルネック・ロバストは十分か? -ラベルノイズ耐性情報ボトルネック学習に向けて-
• Authors: Yi Huang, Qingyun Sun, Yisen Gao, Haonan Yuan, Xingcheng Fu, Jianxin Li,
• Abstract要約: IB(Information Bottleneck)の原則は,無関係情報を圧縮しながらラベル関連情報を保存し,効果的な表現学習を促進する。 本稿では,MSC(Minimal-Sufficient-Clean)基準を導入した新しいラベル・ノイズ・レジスタント・インフォメーション・ボトルネック法であるLaT-IBを提案する。 LaT-IBはラベルノイズ下での優れたロバスト性と効率を実現し、ラベルノイズのある現実のシナリオにおけるロバスト性と適用性を大幅に向上する。
• 参考スコア（独自算出の注目度）: 32.856351223184696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Information Bottleneck (IB) principle facilitates effective representation learning by preserving label-relevant information while compressing irrelevant information. However, its strong reliance on accurate labels makes it inherently vulnerable to label noise, prevalent in real-world scenarios, resulting in significant performance degradation and overfitting. To address this issue, we propose LaT-IB, a novel Label-Noise ResistanT Information Bottleneck method which introduces a "Minimal-Sufficient-Clean" (MSC) criterion. Instantiated as a mutual information regularizer to retain task-relevant information while discarding noise, MSC addresses standard IB's vulnerability to noisy label supervision. To achieve this, LaT-IB employs a noise-aware latent disentanglement that decomposes the latent representation into components aligned with to the clean label space and the noise space. Theoretically, we first derive mutual information bounds for each component of our objective including prediction, compression, and disentanglement, and moreover prove that optimizing it encourages representations invariant to input noise and separates clean and noisy label information. Furthermore, we design a three-phase training framework: Warmup, Knowledge Injection and Robust Training, to progressively guide the model toward noise-resistant representations. Extensive experiments demonstrate that LaT-IB achieves superior robustness and efficiency under label noise, significantly enhancing robustness and applicability in real-world scenarios with label noise.
• Abstract（参考訳）: IB(Information Bottleneck)原則は,無関係情報を圧縮しながらラベル関連情報を保存し,効果的な表現学習を容易にする。 しかし、正確なラベルに強く依存しているため、ラベルノイズに本質的に脆弱であり、現実のシナリオでよく見られるため、性能が著しく低下し、過度に適合する。 この問題に対処するため,我々は,MSC(Minimal-Sufficient-Clean)基準を導入した新しいラベル・ノイズ・レジスタント・インフォメーション・ボトルネック法であるLaT-IBを提案する。 ノイズを排除しながらタスク関連情報を保持するために相互情報レギュレータとして確立されたMSCは、標準IBの脆弱性をノイズラベル監視に対処する。 これを実現するため、LaT-IBは、遅延表現をクリーンラベル空間とノイズ空間とに整合したコンポーネントに分解するノイズ対応潜伏歪みを用いる。 理論的には、まず、予測、圧縮、絡み合いを含む目的の構成要素ごとに相互情報境界を導出し、さらに、それを最適化することで入力ノイズに不変な表現を奨励し、クリーンでノイズの多いラベル情報を分離することを証明する。 さらに,ワームアップ,知識注入,ロバスト訓練という3段階のトレーニングフレームワークを設計し,ノイズ耐性表現に向けてモデルを段階的に誘導する。 実験により, ラベルノイズ下でのLaT-IBの強靭性と効率が向上し, ラベルノイズを伴う実世界のシナリオにおける強靭性と適用性が著しく向上した。

関連論文リスト

• Mitigating Instance-Dependent Label Noise: Integrating Self-Supervised Pretraining with Pseudo-Label Refinement [3.272177633069322]
  実世界のデータセットは、アノテーションプロセス中にヒューマンエラー、あいまいさ、リソース制約のために、ノイズの多いラベルを含むことが多い。 そこで本研究では,SimCLRを用いた自己教師型学習と反復的擬似ラベル改良を組み合わせた新しいフレームワークを提案する。 提案手法は,特に高騒音条件下では,いくつかの最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2024-12-06T09:56:49Z)
• Group Benefits Instances Selection for Data Purification [21.977432359384835]
  ラベルノイズと戦う既存の方法は通常、合成データセット上で設計およびテストされる。 本稿では,合成および実世界の両方のデータセットに対するノイズラベル問題を緩和するGRIPという手法を提案する。
  論文  参考訳（メタデータ） (2024-03-23T03:06:19Z)
• Generating the Ground Truth: Synthetic Data for Soft Label and Label Noise Research [0.0]
  実世界のデータからノイズのないデータセットを作成するためのフレームワークであるSynLABELを紹介する。 ラベルノイズを精度よく定量化する能力と,既存の手法による改善を実証する。
  論文  参考訳（メタデータ） (2023-09-08T13:31:06Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• On Learning Contrastive Representations for Learning with Noisy Labels [26.23187556876699]
  ディープニューラルネットワークは、ソフトマックスクロスエントロピー(CE)損失でノイズラベルを容易に記憶することができる。 従来の研究では、ノイズ・ロスバスト損失関数をCE損失に組み込むことでこの問題に対処しようとした。 そこで本稿では,ノイズの多いデータ上でそのような表現を学習するための,新しいコントラスト正規化関数を提案する。
  論文  参考訳（メタデータ） (2022-03-03T15:58:05Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations [54.400167806154535]
  ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。 本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。 実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
  論文  参考訳（メタデータ） (2021-10-22T22:42:11Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Boosting Semi-Supervised Face Recognition with Noise Robustness [54.342992887966616]
  本稿では,自動ラベルによるラベル雑音に対して頑健な半教師付き顔認識に対する効果的な解法を提案する。 そこで我々は,gnが強化するロバストな学習能力に基づく,ノイズロバスト学習ラベリング(nroll)という,半教師付き顔認識ソリューションを開発した。
  論文  参考訳（メタデータ） (2021-05-10T14:43:11Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。