論文の概要: Instance-dependent Label Distribution Estimation for Learning with Label Noise

• arxiv url: http://arxiv.org/abs/2212.08380v2
• Date: Mon, 04 Nov 2024 07:32:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:56:39.652527
• Title: Instance-dependent Label Distribution Estimation for Learning with Label Noise
• Title（参考訳）: ラベル雑音による学習のための事例依存ラベル分布推定
• Authors: Zehui Liao, Shishuai Hu, Yutong Xie, Yong Xia,
• Abstract要約: 雑音遷移行列(NTM)推定はラベル雑音による学習に有望な手法である。 本稿では、画像分類のためのノイズラベルから学習するためのインスタンス依存ラベル分布推定(ILDE)手法を提案する。 提案手法は, 合成ノイズであっても実雑音であっても, 競合する全ての手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 20.479674500893303
• License:
• Abstract: Noise transition matrix (NTM) estimation is a promising approach for learning with label noise. It can infer clean posterior probabilities, known as Label Distribution (LD), based on noisy ones and reduce the impact of noisy labels. However, this estimation is challenging, since the ground truth labels are not always available. Most existing methods estimate a global NTM using either correctly labeled samples (anchor points) or detected reliable samples (pseudo anchor points). These methods heavily rely on the existence of anchor points or the quality of pseudo ones, and the global NTM can hardly provide accurate label transition information for each sample, since the label noise in real applications is mostly instance-dependent. To address these challenges, we propose an Instance-dependent Label Distribution Estimation (ILDE) method to learn from noisy labels for image classification. The method's workflow has three major steps. First, we estimate each sample's noisy posterior probability, supervised by noisy labels. Second, since mislabeling probability closely correlates with inter-class correlation, we compute the inter-class correlation matrix to estimate the NTM, bypassing the need for (pseudo) anchor points. Moreover, for a precise approximation of the instance-dependent NTM, we calculate the inter-class correlation matrix using only mini-batch samples rather than the entire training dataset. Third, we transform the noisy posterior probability into instance-dependent LD by multiplying it with the estimated NTM, using the resulting LD for enhanced supervision to prevent DCNNs from memorizing noisy labels. The proposed ILDE method has been evaluated against several state-of-the-art methods on two synthetic and three real-world noisy datasets. Our results indicate that the proposed ILDE method outperforms all competing methods, no matter whether the noise is synthetic or real noise.
• Abstract（参考訳）: 雑音遷移行列(NTM)推定はラベル雑音による学習に有望な手法である。 これは、ノイズのあるものに基づいてラベル分布(LD)と呼ばれるクリーンな後部確率を推測し、ノイズのあるラベルの影響を減らすことができる。 しかし、基礎となる真理ラベルが常に利用できるとは限らないため、この推定は困難である。 既存のほとんどの手法では、正しくラベル付けされたサンプル(アンカーポイント)または検出された信頼できるサンプル(擬似アンカーポイント)を用いてグローバルNTMを推定する。 これらの手法はアンカーポイントの存在や擬似的なものの品質に大きく依存しており、グローバルNTMは実アプリケーションにおけるラベルノイズは主にインスタンス依存であるため、各サンプルに対して正確なラベル遷移情報を提供できない。 これらの課題に対処するために、画像分類のためのノイズラベルから学習するインスタンス依存ラベル分布推定(ILDE)手法を提案する。 メソッドのワークフローには3つの大きなステップがある。 まず,各サンプルの雑音後確率を,ノイズラベルを用いて推定する。 第2に, クラス間相関の誤ラベル確率はクラス間相関と密接に相関するため, クラス間相関行列を計算してNTMを推定し, 擬似アンカー点の必要性を回避した。 さらに、インスタンス依存NTMの正確な近似のために、トレーニングデータセット全体ではなく、ミニバッチサンプルのみを用いてクラス間相関行列を計算する。 第3に, 後発雑音の確率を推定したNTMに乗じて, 後発雑音の確率をインスタンス依存LDに変換する。 提案したILDE法は,2つの合成および3つの実世界の雑音性データセット上で,最先端のいくつかの手法に対して評価されている。 提案手法は, 合成ノイズであっても実雑音であっても, 競合する全ての手法より優れていることを示す。

関連論文リスト

• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Federated Learning with Instance-Dependent Noisy Label [6.093214616626228]
  FedBeatはIDN遷移行列(IDNTM)を用いたグローバルな統計的一貫した分類器の構築を目指している CIFAR-10 と SVHN で行った実験により,提案手法が最先端手法を著しく上回っていることを確認した。
  論文  参考訳（メタデータ） (2023-12-16T05:08:02Z)
• Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling [22.62790706276081]
  ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。 従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。 本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T02:06:38Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels [0.9699640804685629]
  大規模なデータセットには、ディープニューラルネットワーク(DNN)によって記憶されるような、ラベルのずれたサンプルが含まれている傾向があります。 本稿では, ノイズデータからクリーンなサンプルを効果的に選択するために, アンサンブルノイズ・ロバスト K-fold Cross-Validation Selection (E-NKCVS) を提案する。 我々は,ラベルが手動で異なる雑音比で破損した様々な画像・テキスト分類タスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2021-07-06T02:14:52Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Confidence Scores Make Instance-dependent Label-noise Learning Possible [129.84497190791103]
  ノイズのあるラベルで学習する際、そのラベルはノイズモデルと呼ばれる遷移分布に従ってランダムに他のクラスに移動することができる。 我々は、各インスタンスラベル対に信頼スコアを付与する、信頼スコア付きインスタンス依存ノイズ(CSIDN)を導入する。 信頼性スコアの助けを借りて、各インスタンスの遷移分布を推定できる。
  論文  参考訳（メタデータ） (2020-01-11T16:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。