論文の概要: Beyond Class-Conditional Assumption: A Primary Attempt to Combat Instance-Dependent Label Noise

• arxiv url: http://arxiv.org/abs/2012.05458v1
• Date: Thu, 10 Dec 2020 05:16:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 06:17:51.677809
• Title: Beyond Class-Conditional Assumption: A Primary Attempt to Combat Instance-Dependent Label Noise
• Title（参考訳）: クラス条件仮定を超えて:インスタンス依存のラベルノイズと戦うための第一の試み
• Authors: Pengfei Chen, Junjie Ye, Guangyong Chen, Jingwei Zhao, Pheng-Ann Heng
• Abstract要約: ラベル雑音下での教師付き学習は近年多くの進歩を遂げている。 本論文では,実世界のデータセットにおけるノイズがCCNである可能性は低いことを実証する。 制御可能なインスタンス依存ノイズ(IDN)を生成するアルゴリズムを形式化する。
• 参考スコア（独自算出の注目度）: 51.66448070984615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised learning under label noise has seen numerous advances recently, while existing theoretical findings and empirical results broadly build up on the class-conditional noise (CCN) assumption that the noise is independent of input features given the true label. In this work, we present a theoretical hypothesis testing and prove that noise in real-world dataset is unlikely to be CCN, which confirms that label noise should depend on the instance and justifies the urgent need to go beyond the CCN assumption.The theoretical results motivate us to study the more general and practical-relevant instance-dependent noise (IDN). To stimulate the development of theory and methodology on IDN, we formalize an algorithm to generate controllable IDN and present both theoretical and empirical evidence to show that IDN is semantically meaningful and challenging. As a primary attempt to combat IDN, we present a tiny algorithm termed self-evolution average label (SEAL), which not only stands out under IDN with various noise fractions, but also improves the generalization on real-world noise benchmark Clothing1M. Our code is released. Notably, our theoretical analysis in Section 2 provides rigorous motivations for studying IDN, which is an important topic that deserves more research attention in future.
• Abstract（参考訳）: ラベルノイズ下での教師付き学習は近年多くの進歩を遂げているが、既存の理論的知見と経験的結果は、そのノイズが真のラベルが与えられた入力特徴とは無関係であるというクラス条件ノイズ(CCN)の仮定に基づいて大きく裏付けられている。 本研究では,実世界のデータセットにおけるノイズがccnである可能性は低いという理論的仮説を検証し,ラベルノイズがインスタンスに依存することを確認し,ccnの仮定を超越する緊急必要性を正当化するものであることを証明し,より一般的かつ実用的なインスタンス依存ノイズ(idn)の研究を動機付ける。 我々は,IDNに関する理論と方法論の発達を促進するために,制御可能なIDNを生成するアルゴリズムを形式化し,IDNが意味論的かつ困難なものであることを示す理論的および実証的な証拠を提示する。 idnに対抗するための第一の試みとして、様々なノイズ分数を持つidnの下で際立っている、自己進化平均ラベル(seal)と呼ばれる小さなアルゴリズムを提案する。 私たちのコードはリリースされます。 特に、第2節における我々の理論的分析は、IDNを研究するための厳格な動機を与えています。

関連論文リスト

• Label Noise: Ignorance Is Bliss [20.341746708177055]
  マルチクラス、インスタンス依存ラベルノイズ下で学習するための新しい理論的枠組みを確立する。 本研究は,ラベルノイズを無視しながら経験的リスクを最小限に抑える,単純なEmphnoise Ignorant Empirical Risk Minimization(NI-ERM)の原則を支持する。
  論文  参考訳（メタデータ） (2024-10-31T17:03:25Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Noise Injection Node Regularization for Robust Learning [0.0]
  ノイズインジェクションノード規則化(NINR)は、トレーニング期間中に、構造化されたノイズをディープニューラルネットワーク(DNN)に注入する手法である。 本研究は、NINRの下で訓練されたフィードフォワードDNNに対する各種試験データ摂動に対するロバスト性を大幅に改善する理論的および実証的な証拠を示す。
  論文  参考訳（メタデータ） (2022-10-27T20:51:15Z)
• Worst-Case Dynamic Power Distribution Network Noise Prediction Using Convolutional Neural Network [14.144190519120167]
  最悪の動的PDNノイズ分析は、チップの性能と信頼性を確保するためにPDNサインオフにおいて重要なステップである。 本稿では,最悪ケースの動的PDN雑音予測のための,効率的かつスケーラブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-27T08:37:10Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations [54.400167806154535]
  ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。 本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。 実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
  論文  参考訳（メタデータ） (2021-10-22T22:42:11Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Unsupervised Neural Universal Denoiser for Finite-Input General-Output Noisy Channel [25.26787589154647]
  有限インプット、一般出力(FIGO)チャネルのためのニューラルネットワークに基づく新しいユニバーサルデノイザを考案する。 既知のノイズチャネル密度の仮定に基づいて、ネットワークをトレーニングし、基礎となるクリーンソースデータに対して最高のスライディングウインドウデノイザをデノイズできるようにします。
  論文  参考訳（メタデータ） (2020-03-05T17:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。