論文の概要: Knowledge Distillation with Noisy Labels for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2109.10147v1
• Date: Tue, 21 Sep 2021 13:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-22 18:32:45.948182
• Title: Knowledge Distillation with Noisy Labels for Natural Language Understanding
• Title（参考訳）: 自然言語理解のための雑音ラベルによる知識蒸留
• Authors: Shivendra Bhardwaj, Abbas Ghaddar, Ahmad Rashid, Khalil Bibi, Chengyang Li, Ali Ghodsi, Philippe Langlais, Mehdi Rezagholizadeh
• Abstract要約: この問題の範囲を文書化し,ラベルノイズの影響を緩和する2つの方法を提案する。 GLUEベンチマーク実験により, 高い騒音レベル下においても本手法は有効であることが示された。
• 参考スコア（独自算出の注目度）: 8.689300208403242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Distillation (KD) is extensively used to compress and deploy large pre-trained language models on edge devices for real-world applications. However, one neglected area of research is the impact of noisy (corrupted) labels on KD. We present, to the best of our knowledge, the first study on KD with noisy labels in Natural Language Understanding (NLU). We document the scope of the problem and present two methods to mitigate the impact of label noise. Experiments on the GLUE benchmark show that our methods are effective even under high noise levels. Nevertheless, our results indicate that more research is necessary to cope with label noise under the KD.
• Abstract（参考訳）: 知識蒸留(KD)は、実世界のアプリケーションのためのエッジデバイス上で、大規模な事前訓練された言語モデルを圧縮およびデプロイするために広く利用されている。 しかし、研究の無視された領域は、KDに対するノイズ(破損)ラベルの影響である。 我々は,自然言語理解(nlu)における雑音ラベル付きkdに関する最初の研究を,我々の知識を最大限に活用するために提示する。 この問題の範囲を文書化し,ラベルノイズの影響を軽減する2つの手法を提案する。 GLUEベンチマーク実験により, 高い騒音レベル下でも有効であることが示された。 しかしながら,kd下でラベルノイズに対処するためには,さらなる研究が必要であることが示唆された。

関連論文リスト

• Training Gradient Boosted Decision Trees on Tabular Data Containing Label Noise for Classification Tasks [1.261491746208123]
  本研究の目的は,ラベルノイズが勾配ブースト決定木に及ぼす影響とそれらの効果を緩和する方法を検討することである。 提案手法は,成人のデータセットに対して最先端のノイズ検出性能を示し,成人および乳癌のデータセットに対して最も高い分類精度とリコールを実現する。
  論文  参考訳（メタデータ） (2024-09-13T09:09:24Z)
• Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
  チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。 従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。 まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
  論文  参考訳（メタデータ） (2023-08-14T06:04:50Z)
• Combating Noise: Semi-supervised Learning by Region Uncertainty Quantification [55.23467274564417]
  現在の手法は、擬似ラベルによって生成されるノイズの多い領域によって容易に妨げられる。 領域の不確実性を定量化して雑音耐性半教師付き学習を提案する。 PASCAL VOCとMS COCOの併用実験により,本手法の異常な性能を実証した。
  論文  参考訳（メタデータ） (2021-11-01T13:23:42Z)
• Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations [54.400167806154535]
  ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。 本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。 実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
  論文  参考訳（メタデータ） (2021-10-22T22:42:11Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Robust Deep Learning with Active Noise Cancellation for Spatial Computing [11.490116814947223]
  地上の真理ラベルには、空間計算や衛星画像でラベルが収集されるため、多くのノイズが存在している。 極端ラベルノイズに対処する既存の方法はクリーンサンプル選択を行い、残りのサンプルは利用しない。 提案するCANCアルゴリズムは,高コストトレーニングサンプルの保存だけでなく,能動的ラベル補正も提供する。
  論文  参考訳（メタデータ） (2020-11-16T23:56:14Z)
• Towards Noise-resistant Object Detection with Noisy Annotations [119.63458519946691]
  ディープオブジェクト検出器の訓練には、正確なオブジェクトラベルとバウンディングボックス座標を持つ、相当量の人間の注釈画像が必要である。 ノイズの多いアノテーションはずっと簡単にアクセスできますが、学習には有害かもしれません。 ノイズにはラベルノイズとバウンディングボックスノイズが混在している。
  論文  参考訳（メタデータ） (2020-03-03T01:32:16Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。