論文の概要: Do We Need to Penalize Variance of Losses for Learning with Label Noise?

• arxiv url: http://arxiv.org/abs/2201.12739v1
• Date: Sun, 30 Jan 2022 06:19:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 17:13:46.022358
• Title: Do We Need to Penalize Variance of Losses for Learning with Label Noise?
• Title（参考訳）: ラベルノイズによる学習における損失の分散を罰する必要はあるか?
• Authors: Yexiong Lin, Yu Yao, Yuxuan Du, Jun Yu, Bo Han, Mingming Gong, Tongliang Liu
• Abstract要約: ノイズラベルを用いた学習では,差分を増大させる必要がある。 ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。 実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 91.38888889609002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Algorithms which minimize the averaged loss have been widely designed for dealing with noisy labels. Intuitively, when there is a finite training sample, penalizing the variance of losses will improve the stability and generalization of the algorithms. Interestingly, we found that the variance should be increased for the problem of learning with noisy labels. Specifically, increasing the variance will boost the memorization effects and reduce the harmfulness of incorrect labels. By exploiting the label noise transition matrix, regularizers can be easily designed to reduce the variance of losses and be plugged in many existing algorithms. Empirically, the proposed method by increasing the variance of losses significantly improves the generalization ability of baselines on both synthetic and real-world datasets.
• Abstract（参考訳）: 平均損失を最小限に抑えるアルゴリズムは、ノイズラベルを扱うために広く設計されている。 直観的には、有限のトレーニングサンプルが存在する場合、損失の分散はアルゴリズムの安定性と一般化を改善する。 興味深いことに,ノイズラベルを用いた学習では,差分を増大させる必要がある。 特に、ばらつきの増加は記憶効果を高め、不正ラベルの有害性を減少させる。 ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減し、既存の多くのアルゴリズムにプラグインすることができる。 実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Learning from Label Proportions by Learning with Label Noise [30.7933303912474]
  ラベル比例(LLP)からの学習は、データポイントをバッグに分類する弱い教師付き分類問題である。 ラベル雑音による学習の低減に基づくLLPに対する理論的基礎的なアプローチを提案する。 このアプローチは、複数のデータセットやアーキテクチャにわたるディープラーニングシナリオにおける経験的パフォーマンスの向上を実証する。
  論文  参考訳（メタデータ） (2022-03-04T18:52:21Z)
• Sample Selection with Uncertainty of Losses for Learning with Noisy Labels [145.06552420999986]
  ノイズの多いラベルで学習する際、サンプル選択アプローチは非常に人気があり、小さなロスデータをトレーニング中に正しくラベル付けされているとみなす。 しかし、ノイズラベルでトレーニングされたモデルに基づいて、損失をオンザフライで発生させるため、大容量のデータはおそらく正しくないが、確実に誤りではない。 本稿では,損失点推定の代わりに間隔推定を採用することにより,損失の不確実性を取り入れる。
  論文  参考訳（メタデータ） (2021-06-01T12:53:53Z)
• An Exploration into why Output Regularization Mitigates Label Noise [0.0]
  騒音のロバストな損失は、ラベルノイズを扱うためのより有望なアプローチの1つである。 ラベル平滑化やエントロピーといった出力正規化項を含む損失は、正規化係数が無限大になるにつれて対称になることを示す。
  論文  参考訳（メタデータ） (2021-04-26T11:16:30Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Regularization in neural network optimization via trimmed stochastic gradient descent with noisy label [2.66512000865131]
  正規化は、ニューラルネットワークの最適化におけるデータトレーニングへの過度な適合を回避するために不可欠です。 ラベルノイズとトリミングの例を組み合わせた第1次最適化法(Label-Noised Trim-SGD)を提案する。 提案アルゴリズムにより,ラベルの大きいノイズを付加し,元の手法よりも優れた正規化効果が得られる。
  論文  参考訳（メタデータ） (2020-12-21T01:31:53Z)
• Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
  本研究では,新しいメタ遷移学習戦略を提案する。 具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。 本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
  論文  参考訳（メタデータ） (2020-06-10T07:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。