論文の概要: Mitigating the Impact of Labeling Errors on Training via Rockafellian Relaxation

• arxiv url: http://arxiv.org/abs/2405.20531v1
• Date: Thu, 30 May 2024 23:13:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 16:05:36.888973
• Title: Mitigating the Impact of Labeling Errors on Training via Rockafellian Relaxation
• Title（参考訳）: ロカフェル緩和によるトレーニングにおけるラベル誤りの影響について
• Authors: Louis L. Chen, Bobbie Chern, Eric Eckstrand, Amogh Mahapatra, Johannes O. Royset,
• Abstract要約: ニューラルネットワークトレーニングのためのRockafellian Relaxation(RR)の実装を提案する。 RRは、分類タスク間で堅牢なパフォーマンスを達成するために、標準的なニューラルネットワーク手法を強化することができる。 RRはラベル付け誤りと/または逆方向の摂動の両方によるデータセットの破損の影響を軽減することができる。
• 参考スコア（独自算出の注目度）: 0.8741284539870512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Labeling errors in datasets are common, if not systematic, in practice. They naturally arise in a variety of contexts-human labeling, noisy labeling, and weak labeling (i.e., image classification), for example. This presents a persistent and pervasive stress on machine learning practice. In particular, neural network (NN) architectures can withstand minor amounts of dataset imperfection with traditional countermeasures such as regularization, data augmentation, and batch normalization. However, major dataset imperfections often prove insurmountable. We propose and study the implementation of Rockafellian Relaxation (RR), a new loss reweighting, architecture-independent methodology, for neural network training. Experiments indicate RR can enhance standard neural network methods to achieve robust performance across classification tasks in computer vision and natural language processing (sentiment analysis). We find that RR can mitigate the effects of dataset corruption due to both (heavy) labeling error and/or adversarial perturbation, demonstrating effectiveness across a variety of data domains and machine learning tasks.
• Abstract（参考訳）: データセットのラベル付けエラーは、実際には、体系的ではないとしても、一般的である。 これらは自然に、人間のラベル付け、ノイズラベリング、弱いラベリング(画像分類など)など様々な文脈で発生する。 これは機械学習の実践に永続的で広範囲にわたるストレスを与えます。 特に、ニューラルネットワーク(NN)アーキテクチャは、正規化やデータ拡張、バッチ正規化といった従来の対策によって、少量のデータセットの不完全性に耐えることができる。 しかし、主要なデータセットの不完全性はしばしば克服不可能である。 我々は、ニューラルネットワークトレーニングのための新しい損失再重み付け、アーキテクチャに依存しない方法論であるRockafellian Relaxation(RR)の実装を提案し、研究する。 実験の結果、RRはコンピュータビジョンや自然言語処理(センチメント分析)における分類タスク間の堅牢なパフォーマンスを達成するために、標準的なニューラルネットワーク手法を強化することができることが示された。 RRは、ラベル付けエラーと/または逆方向の摂動の両方によるデータセットの破損の影響を緩和し、さまざまなデータドメインと機械学習タスクで有効性を示す。

関連論文リスト

• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Informative regularization for a multi-layer perceptron RR Lyrae classifier under data shift [3.303002683812084]
  本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。 提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
  論文  参考訳（メタデータ） (2023-03-12T02:49:19Z)
• Error Sensitivity Modulation based Experience Replay: Mitigating Abrupt Representation Drift in Continual Learning [13.041607703862724]
  本稿では,デュアルメモリリハーサルシステムにおけるエラー感度を変調する原理的機構を用いたESMERを提案する。 ESMERは、知識を集約しながら、新しいタスクに徐々に適応することにより、タスク境界における表現の忘れと突然のドリフトを効果的に低減する。 注目すべきは、実世界のデータストリームでユビキタスであるラベルノイズの高レベル下での学習を可能にすることだ。
  論文  参考訳（メタデータ） (2023-02-14T16:35:54Z)
• Robust Training under Label Noise by Over-parameterization [41.03008228953627]
  本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。 ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。 注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
  論文  参考訳（メタデータ） (2022-02-28T18:50:10Z)
• Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
  ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。 損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。 ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
  論文  参考訳（メタデータ） (2022-02-27T23:06:31Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• An Introduction to Robust Graph Convolutional Networks [71.68610791161355]
  本論文では, 誤りのある単一ビューあるいは複数ビューのデータに対して, 新たなロバストグラフ畳み込みニューラルネットワークを提案する。 従来のグラフ畳み込みネットワークにAutoencodersを介して余分なレイヤを組み込むことで、典型的なエラーモデルを明示的に特徴付けおよび処理します。
  論文  参考訳（メタデータ） (2021-03-27T04:47:59Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。