論文の概要: Distantly-Supervised Named Entity Recognition with Uncertainty-aware Teacher Learning and Student-student Collaborative Learning

• arxiv url: http://arxiv.org/abs/2311.08010v1
• Date: Tue, 14 Nov 2023 09:09:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 14:52:07.185349
• Title: Distantly-Supervised Named Entity Recognition with Uncertainty-aware Teacher Learning and Student-student Collaborative Learning
• Title（参考訳）: 不確かさを意識した教師学習と学生学生協調学習による遠隔指導型エンティティ認識
• Authors: Helan Hu, Shuzheng Si, Haozhe Zhao, Shuang Zeng, Kaikai An, Zefan Cai and Baobao Chang
• Abstract要約: ネットワークキャリブレーションの貧弱さが,誤った擬似ラベル付きサンプルを生成するため,教師学生の手法は限られた性能を達成すると論じる。 本研究では,予測の不確実性を利用して擬似ラベルの選択を誘導する不確実性学習を提案する。 我々の手法は、最先端の教師/学生の方法よりも優れている。
• 参考スコア（独自算出の注目度）: 25.97406608992136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distantly-Supervised Named Entity Recognition (DS-NER) effectively alleviates the burden of annotation, but meanwhile suffers from the label noise. Recent works attempt to adopt the teacher-student framework to gradually refine the training labels and improve the overall robustness. However, we argue that these teacher-student methods achieve limited performance because poor network calibration produces incorrectly pseudo-labeled samples, leading to error propagation. Therefore, we attempt to mitigate this issue by proposing: (1) Uncertainty-aware Teacher Learning that leverages the prediction uncertainty to guide the selection of pseudo-labels, avoiding the number of incorrect pseudo-labels in the self-training stage. (2) Student-student Collaborative Learning that allows the transfer of reliable labels between two student networks instead of completely relying on all pseudo-labels from its teacher. Meanwhile, this approach allows a full exploration of mislabeled samples rather than simply filtering unreliable pseudo-labeled samples. Extensive experimental results on five DS-NER datasets demonstrate that our method is superior to state-of-the-art teacher-student methods.
• Abstract（参考訳）: Distantly-Supervised Named Entity Recognition (DS-NER)は、アノテーションの負担を軽減するが、ラベルノイズに悩まされる。 最近の研究は、教師の学習フレームワークを採用して、トレーニングラベルを徐々に洗練し、全体的な堅牢性を改善しようとしている。 しかし,ネットワークキャリブレーションの悪さが誤った擬似ラベルサンプルを生成し,誤り伝播に繋がるため,教師が指導する手法は限定的である。 そこで我々は,(1)予測の不確実性を活用して疑似ラベルの選択を誘導する不確実性認識型教員学習を,自己学習段階における誤った擬似ラベルの数を避けることによって,この問題を軽減することを提案する。 2)教師からの疑似ラベルを全て頼らずに、2つの学生ネットワーク間で信頼できるラベルを転送できる学生・学生協調学習。 一方、このアプローチは、信頼できない擬似ラベルサンプルを単にフィルタリングするのではなく、誤ラベルサンプルの完全な探索を可能にする。 5つのds-nerデータセットの広範な実験結果から,本手法は教師の指導的手法よりも優れていることが示された。

関連論文リスト

• Credible Teacher for Semi-Supervised Object Detection in Open Scene [106.25850299007674]
  Open Scene Semi-Supervised Object Detection (O-SSOD)では、ラベル付きデータはラベル付きデータで観測されていない未知のオブジェクトを含む可能性がある。 より不確実性が、偽ラベルのローカライズと分類精度の低下につながるため、主に自己学習に依存する現在の手法には有害である。 我々は,不確実な擬似ラベルがモデルに誤解をもたらすのを防ぐための,エンドツーエンドのフレームワークであるCredible Teacherを提案する。
  論文  参考訳（メタデータ） (2024-01-01T08:19:21Z)
• Robust Representation Learning for Unreliable Partial Label Learning [86.909511808373]
  部分ラベル学習(Partial Label Learning, PLL)は、弱い教師付き学習の一種で、各トレーニングインスタンスに候補ラベルのセットが割り当てられる。 これはUn Reliable partial Label Learning (UPLL) と呼ばれ、部分ラベルの本質的な信頼性の欠如とあいまいさにより、さらなる複雑さをもたらす。 本研究では,信頼できない部分ラベルに対するモデル強化を支援するために,信頼性に欠けるコントラスト学習を活用するUnreliability-Robust Representation Learning framework(URRL)を提案する。
  論文  参考訳（メタデータ） (2023-08-31T13:37:28Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Label Matching Semi-Supervised Object Detection [85.99282969977541]
  半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。 ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。 本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-14T05:59:41Z)
• Two Wrongs Don't Make a Right: Combating Confirmation Bias in Learning with Label Noise [6.303101074386922]
  Robust Label Refurbishment (Robust LR) は、擬似ラベルと信頼度推定技術を組み込んだ新しいハイブリッド手法である。 本手法はラベルノイズと確認バイアスの両方の損傷を軽減できることを示す。 例えば、Robust LRは、実世界のノイズデータセットであるWebVisionにおいて、以前の最高値よりも最大4.5%の絶対的トップ1精度の向上を実現している。
  論文  参考訳（メタデータ） (2021-12-06T12:10:17Z)
• Improving Distantly-Supervised Named Entity Recognition with Self-Collaborative Denoising Learning [9.747173655999427]
  SCDL(Self-Collaborative Denoising Learning)という,堅牢な学習パラダイムを提案する。 SCDLは、2つの教師学生ネットワークを相互に便宜的に訓練し、ノイズの多いラベル精製を反復的に行う。 5つの実世界のデータセットに対する大規模な実験結果から、SCDLは最先端のDS-NER復調法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-10-09T01:45:03Z)
• Unbiased Teacher for Semi-Supervised Object Detection [50.0087227400306]
  SS-OD(Semi-Supervised Object Detection)を再検討し,SS-ODにおける擬似ラベルバイアス問題を特定する。 学生と徐々に進歩する教師を相互に利益ある方法で共同で訓練するシンプルで効果的なアプローチであるUnbiased Teacherを紹介します。
  論文  参考訳（メタデータ） (2021-02-18T17:02:57Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。