論文の概要: Towards the Identifiability in Noisy Label Learning: A Multinomial Mixture Approach

• arxiv url: http://arxiv.org/abs/2301.01405v1
• Date: Wed, 4 Jan 2023 01:54:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 15:50:09.762939
• Title: Towards the Identifiability in Noisy Label Learning: A Multinomial Mixture Approach
• Title（参考訳）: 雑音ラベル学習における識別可能性に向けて:多項混合アプローチ
• Authors: Cuong Nguyen, Thanh-Toan Do, Gustavo Carneiro
• Abstract要約: ノイズラベルからの学習は、ディープラーニング時代において重要な役割を果たす。 有望な結果を伴う数多くの研究にもかかわらず、ノイズの多い注釈付きデータセットからクリーンなラベルを特定することは依然として難しい。 本稿では,ノイズラベル学習問題を多項混合モデルとして定式化することにより,そのような識別可能性の問題について公式に検討することを目的とする。
• 参考スコア（独自算出の注目度）: 37.32107678838193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from noisy labels plays an important role in the deep learning era. Despite numerous studies with promising results, identifying clean labels from a noisily-annotated dataset is still challenging since the conventional noisy label learning problem with single noisy label per instance is not identifiable, i.e., it does not theoretically have a unique solution unless one has access to clean labels or introduces additional assumptions. This paper aims to formally investigate such identifiability issue by formulating the noisy label learning problem as a multinomial mixture model, enabling the formulation of the identifiability constraint. In particular, we prove that the noisy label learning problem is identifiable if there are at least $2C - 1$ noisy labels per instance provided, with $C$ being the number of classes. In light of such requirement, we propose a method that automatically generates additional noisy labels per training sample by estimating the noisy label distribution based on nearest neighbours. Such additional noisy labels allow us to apply the Expectation - Maximisation algorithm to estimate the posterior of clean labels. We empirically demonstrate that the proposed method is not only capable of estimating clean labels without any heuristics in several challenging label noise benchmarks, including synthetic, web-controlled and real-world label noises, but also of performing competitively with many state-of-the-art methods.
• Abstract（参考訳）: ノイズラベルからの学習は、ディープラーニング時代において重要な役割を果たす。 有望な結果を伴う多くの研究にもかかわらず、単一ノイズラベルを持つ従来のノイズラベル学習問題(つまり、クリーンラベルにアクセスできないか、追加の仮定を導入していない場合)が特定できないため、ノイズアノテートされたデータセットからクリーンラベルを識別することは依然として困難である。 本稿では, 雑音ラベル学習問題を多項混合モデルとして定式化し, 同定可能性制約の定式化を可能にすることにより, 同定可能性問題の定式化を目指す。 特に,各インスタンスに少なくとも2C - 1$のノイズラベルがあり,$C$がクラス数である場合,ノイズラベル学習問題が特定可能であることを示す。 そこで,提案手法では,近傍の雑音ラベル分布を推定し,学習サンプル毎にノイズラベルを自動生成する手法を提案する。 このようなノイズラベルを追加することで,クリーンラベルの後方推定に期待値最大化アルゴリズムを適用することができる。 提案手法は, 合成, ウェブ制御, 実世界のラベルノイズを含むいくつかの難解なラベルノイズベンチマークにおいて, ヒューリスティック性のないクリーンラベルを推定できるだけでなく, 最先端の手法との競合性も有することを示す。

関連論文リスト

• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Multi-Label Noise Transition Matrix Estimation with Label Correlations: Theory and Algorithm [73.94839250910977]
  ノイズの多いマルチラベル学習は、大規模な正確なラベルの収集によって生じる課題により、注目を集めている。 遷移行列の導入は、マルチラベルノイズをモデル化し、統計的に一貫したアルゴリズムの開発に役立つ。 そこで本稿では, アンカーポイントを必要とせずに, ラベル相関を利用した新しい推定器を提案する。
  論文  参考訳（メタデータ） (2023-09-22T08:35:38Z)
• Partial Label Supervision for Agnostic Generative Noisy Label Learning [18.29334728940232]
  ノイズラベル学習は差別的アプローチと生成的アプローチの両方に取り組んできた。 本稿では,これらの課題に対処する生成ノイズラベル学習のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-02T14:48:25Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• BadLabel: A Robust Perspective on Evaluating and Enhancing Label-noise Learning [113.8799653759137]
  我々はBadLabelと呼ばれる新しいラベルノイズタイプを導入し、既存のLNLアルゴリズムの性能を大幅に劣化させることができる。 BadLabelは、標準分類に対するラベルフライング攻撃に基づいて開発されている。 そこで本稿では, 各エポックにおいてラベルを逆向きに摂動させ, クリーンかつノイズの多いラベルの損失値を再び識別可能にする頑健なLNL法を提案する。
  論文  参考訳（メタデータ） (2023-05-28T06:26:23Z)
• Instance-dependent Label Distribution Estimation for Learning with Label Noise [20.479674500893303]
  雑音遷移行列(NTM)推定はラベル雑音による学習に有望な手法である。 本稿では、画像分類のためのノイズラベルから学習するためのインスタンス依存ラベル分布推定(ILDE)手法を提案する。 提案手法は, 合成ノイズであっても実雑音であっても, 競合する全ての手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:13:25Z)
• An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels [0.9699640804685629]
  大規模なデータセットには、ディープニューラルネットワーク(DNN)によって記憶されるような、ラベルのずれたサンプルが含まれている傾向があります。 本稿では, ノイズデータからクリーンなサンプルを効果的に選択するために, アンサンブルノイズ・ロバスト K-fold Cross-Validation Selection (E-NKCVS) を提案する。 我々は,ラベルが手動で異なる雑音比で破損した様々な画像・テキスト分類タスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2021-07-06T02:14:52Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。