論文の概要: Instance-specific Label Distribution Regularization for Learning with
Label Noise
- arxiv url: http://arxiv.org/abs/2212.08380v1
- Date: Fri, 16 Dec 2022 10:13:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 15:29:00.630746
- Title: Instance-specific Label Distribution Regularization for Learning with
Label Noise
- Title(参考訳): ラベル雑音学習のためのインスタンス固有ラベル分布正規化
- Authors: Zehui Liao, Shishuai Hu, Yutong Xie, Yong Xia
- Abstract要約: 本稿では,DCNNが雑音ラベルを記憶するのを防ぐために,インスタンス固有のラベル分布正規化(LDR)を提案する。
2つの合成ノイズデータセットと2つの実世界のノイズデータセットの実験結果は、我々のLDRが既存の手法より優れていることを示している。
- 参考スコア(独自算出の注目度): 26.510486941806708
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Modeling noise transition matrix is a kind of promising method for learning
with label noise. Based on the estimated noise transition matrix and the noisy
posterior probabilities, the clean posterior probabilities, which are jointly
called Label Distribution (LD) in this paper, can be calculated as the
supervision. To reliably estimate the noise transition matrix, some methods
assume that anchor points are available during training. Nonetheless, if anchor
points are invalid, the noise transition matrix might be poorly learned,
resulting in poor performance. Consequently, other methods treat reliable data
points, extracted from training data, as pseudo anchor points. However, from a
statistical point of view, the noise transition matrix can be inferred from
data with noisy labels under the clean-label-domination assumption. Therefore,
we aim to estimate the noise transition matrix without (pseudo) anchor points.
There is evidence showing that samples are more likely to be mislabeled as
other similar class labels, which means the mislabeling probability is highly
correlated with the inter-class correlation. Inspired by this observation, we
propose an instance-specific Label Distribution Regularization (LDR), in which
the instance-specific LD is estimated as the supervision, to prevent DCNNs from
memorizing noisy labels. Specifically, we estimate the noisy posterior under
the supervision of noisy labels, and approximate the batch-level noise
transition matrix by estimating the inter-class correlation matrix with neither
anchor points nor pseudo anchor points. Experimental results on two synthetic
noisy datasets and two real-world noisy datasets demonstrate that our LDR
outperforms existing methods.
- Abstract(参考訳): 雑音遷移行列のモデル化は,ラベル雑音を学習するための有望な手法である。
推定ノイズ遷移行列とノイズ後部確率に基づいて、この論文で共同でラベル分布(LD)と呼ばれるクリーン後部確率を監督として計算することができる。
ノイズ遷移行列を確実に推定するために、訓練中にアンカーポイントが利用できると仮定する手法もある。
それでも、アンカーポイントが無効である場合、ノイズ遷移行列は学習が不十分になり、性能が低下する可能性がある。
結果として、トレーニングデータから抽出された信頼性のあるデータポイントを疑似アンカーポイントとして扱う方法もある。
しかし、統計的観点からは、ノイズ遷移行列はクリーンラベル支配仮定の下でノイズラベルを持つデータから推定することができる。
そこで我々は(擬似)アンカーポイントを使わずにノイズ遷移行列を推定する。
サンプルは他の類似のクラスラベルと誤記される可能性が高いことを示す証拠があるため、誤記確率はクラス間相関と高い相関関係にある。
本研究は,DCNNがノイズラベルを記憶するのを防ぐために,インスタンス固有のLDを監督対象として推定する,インスタンス固有のラベル分布規則化(LDR)を提案する。
具体的には,ノイズラベルの監視下で雑音後段を推定し,アンカー点も疑似アンカー点も持たないクラス間相関行列を推定することにより,バッチレベルの雑音遷移行列を近似する。
2つの合成ノイズデータセットと2つの実世界のノイズデータセットの実験結果は、我々のLDRが既存の手法より優れていることを示している。
関連論文リスト
- Multi-Label Noise Transition Matrix Estimation with Label Correlations:
Theory and Algorithm [73.94839250910977]
ノイズの多いマルチラベル学習は、大規模な正確なラベルの収集によって生じる課題により、注目を集めている。
遷移行列の導入は、マルチラベルノイズをモデル化し、統計的に一貫したアルゴリズムの開発に役立つ。
そこで本稿では, アンカーポイントを必要とせずに, ラベル相関を利用した新しい推定器を提案する。
論文 参考訳(メタデータ) (2023-09-22T08:35:38Z) - Clusterability as an Alternative to Anchor Points When Learning with
Noisy Labels [7.920797564912219]
本稿では,クラスタ可能性条件に基づく効率的な推定手法を提案する。
アンカーポイントを使った手法と比較して、我々のアプローチはより多くのインスタンスを使用し、より優れたサンプル複雑さの恩恵を受ける。
論文 参考訳(メタデータ) (2021-02-10T07:22:56Z) - Learning Noise Transition Matrix from Only Noisy Labels via Total
Variation Regularization [88.91872713134342]
本稿では,雑音遷移行列を推定し,同時に分類器を学習する理論的基礎付け手法を提案する。
提案手法の有効性を,ベンチマークおよび実世界のデータセットを用いた実験により示す。
論文 参考訳(メタデータ) (2021-02-04T05:09:18Z) - A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。
人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
論文 参考訳(メタデータ) (2020-12-22T06:36:58Z) - Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels [86.5943044285146]
ラベルノイズ遷移行列$T$は、真のラベルがノイズのあるものへと反転する確率を反映する。
本稿では,閉集合と開集合の混在したラベル雑音下での学習に着目した。
本手法は,従来の最先端のラベル雑音学習法よりも頑健な性能を追求し,混合ラベル雑音をモデル化する。
論文 参考訳(メタデータ) (2020-12-02T02:42:45Z) - Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels [98.13491369929798]
そこで我々は,ノイズのあるクラスラベルを持つデータポイントを,ノイズの多い類似ラベルを持つデータペアに変換するClass2Simiというフレームワークを提案する。
Class2Simiは、この変換がミニバッチのオンザフライであるだけでなく、モデル予測上の損失をペアワイズに変化させるため、計算的に効率的である。
論文 参考訳(メタデータ) (2020-06-14T07:55:32Z) - Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
本研究では,新しいメタ遷移学習戦略を提案する。
具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。
本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
論文 参考訳(メタデータ) (2020-06-10T07:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。