論文の概要: DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples Discrimination

• arxiv url: http://arxiv.org/abs/2208.09884v1
• Date: Sun, 21 Aug 2022 13:38:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 12:11:15.531014
• Title: DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples Discrimination
• Title（参考訳）: DiscrimLoss: ハードサンプルと不正サンプル識別のためのユニバーサルロス
• Authors: Tingting Wu, Xiao Ding, Hao Zhang, Jinglong Gao, Li Du, Bing Qin, Ting Liu
• Abstract要約: ラベルノイズ(すなわち不正なデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズとモデル性能を徐々に記憶する。 この問題を解消するために,カリキュラム学習を提案し,学習サンプルを有意義な順序で順序付けすることで,モデル性能と一般化を向上させる。
• 参考スコア（独自算出の注目度）: 28.599571524763785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given data with label noise (i.e., incorrect data), deep neural networks would gradually memorize the label noise and impair model performance. To relieve this issue, curriculum learning is proposed to improve model performance and generalization by ordering training samples in a meaningful (e.g., easy to hard) sequence. Previous work takes incorrect samples as generic hard ones without discriminating between hard samples (i.e., hard samples in correct data) and incorrect samples. Indeed, a model should learn from hard samples to promote generalization rather than overfit to incorrect ones. In this paper, we address this problem by appending a novel loss function DiscrimLoss, on top of the existing task loss. Its main effect is to automatically and stably estimate the importance of easy samples and difficult samples (including hard and incorrect samples) at the early stages of training to improve the model performance. Then, during the following stages, DiscrimLoss is dedicated to discriminating between hard and incorrect samples to improve the model generalization. Such a training strategy can be formulated dynamically in a self-supervised manner, effectively mimicking the main principle of curriculum learning. Experiments on image classification, image regression, text sequence regression, and event relation reasoning demonstrate the versatility and effectiveness of our method, particularly in the presence of diversified noise levels.
• Abstract（参考訳）: ラベルノイズを伴うデータ(すなわち誤ったデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズを徐々に記憶し、モデル性能を損なう。 この問題を軽減するために, 有意義な(例えば, 難しい)シーケンスでトレーニングサンプルを順序付けすることで, モデル性能と一般化を改善するためのカリキュラム学習が提案されている。 これまでの研究では、不正確なサンプルを、ハードサンプル(例えば、正しいデータのハードサンプル)と間違ったサンプルを区別することなく、一般的なハードサンプルとして扱う。 実際、モデルは間違ったサンプルに過度に適合するのではなく、一般化を促進するためにハードサンプルから学ぶべきです。 本稿では,既存のタスク損失の上に,新規な損失関数DiscrimLossを付加することで,この問題に対処する。 その主な効果は、訓練の初期段階における簡単なサンプルと難しいサンプル(ハードと間違ったサンプルを含む)の重要性を自動的に安定して推定し、モデルの性能を改善することである。 次に、以下の段階では、モデルの一般化を改善するために、ハードサンプルと不正サンプルの判別にdiscrimlossが使われる。 このような学習戦略は自己指導的な方法で動的に定式化することができ、カリキュラム学習の原則を効果的に模倣することができる。 画像分類,画像回帰,テキスト列回帰,事象関係推論の実験により,多彩なノイズレベルが存在する場合において,本手法の汎用性と有効性を示す。

関連論文リスト

• Foster Adaptivity and Balance in Learning with Noisy Labels [26.309508654960354]
  我々はtextbfSelf-adaptivtextbfE とクラスバランスtextbfD 方式でラベルノイズに対処するための textbfSED という新しい手法を提案する。 平均教師モデルは、ノイズの多いサンプルのラベルを修正するために使用される。 また,検出した雑音に異なる重みを割り当てる自己適応型およびクラスバランスのサンプル再重み付け機構を提案する。
  論文  参考訳（メタデータ） (2024-07-03T03:10:24Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Self-supervised Training Sample Difficulty Balancing for Local Descriptor Learning [1.309716118537215]
  正と負のサンプルの不均衡の場合、モデルがより微妙な違いを学習するのに役立つ強い負のマイニング戦略が示されている。 しかし、データセット内で厳密なマイニング戦略が推進されている場合、偽陰性サンプルを導入するリスクがある可能性がある。 本稿では,高品質な負の試料を採取し,利用するために,採掘試料の難易度をトレードオフする方法を検討する。
  論文  参考訳（メタデータ） (2023-03-10T18:37:43Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Split-PU: Hardness-aware Training Strategy for Positive-Unlabeled Learning [42.26185670834855]
  Positive-Unlabeled (PU) 学習は、稀な正のサンプルと豊富な未ラベルサンプルを持つモデルを学ぶことを目的としている。 本稿では、新しいトレーニングパイプラインを用いて、一般的に使われているnnPUの改善に焦点を当てる。
  論文  参考訳（メタデータ） (2022-11-30T05:48:31Z)
• Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
  破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。 既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。 しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
  論文  参考訳（メタデータ） (2021-12-30T09:20:07Z)
• Density-Based Dynamic Curriculum Learning for Intent Detection [14.653917644725427]
  本モデルでは, 固有ベクトル密度に応じてサンプルの難易度を定義する。 様々な難易度のサンプルに注意を払う動的カリキュラム学習戦略を適用した。 3つのオープンデータセットの実験により、提案した密度に基づくアルゴリズムが、単純かつ複雑なサンプルを著しく区別できることが確認された。
  論文  参考訳（メタデータ） (2021-08-24T12:29:26Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)
• Salvage Reusable Samples from Noisy Data for Robust Learning [70.48919625304]
  本稿では,Web画像を用いた深部FGモデルのトレーニングにおいて,ラベルノイズに対処するための再利用可能なサンプル選択と修正手法を提案する。 私たちのキーとなるアイデアは、再利用可能なサンプルの追加と修正を行い、それらをクリーンな例とともに活用してネットワークを更新することです。
  論文  参考訳（メタデータ） (2020-08-06T02:07:21Z)
• CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition [79.92240030758575]
  本稿では,カリキュラム学習の概念を損失関数に組み込んだ適応型カリキュラム学習損失(CurricularFace)を提案する。 我々のCurricularFaceは、異なるトレーニング段階における簡単なサンプルとハードサンプルの相対的重要性を適応的に調整する。
  論文  参考訳（メタデータ） (2020-04-01T08:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。