論文の概要: Improving the Robustness of Distantly-Supervised Named Entity Recognition via Uncertainty-Aware Teacher Learning and Student-Student Collaborative Learning
- arxiv url: http://arxiv.org/abs/2311.08010v2
- Date: Tue, 9 Jul 2024 05:11:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 00:21:19.282612
- Title: Improving the Robustness of Distantly-Supervised Named Entity Recognition via Uncertainty-Aware Teacher Learning and Student-Student Collaborative Learning
- Title（参考訳）: 不確かさを意識した教師学習と学生の協調学習による遠隔指導型エンティティ認識のロバスト性向上
- Authors: Helan Hu, Shuzheng Si, Haozhe Zhao, Shuang Zeng, Kaikai An, Zefan Cai, Baobao Chang,
- Abstract要約: 自己学習段階における偽ラベルの誤りを減らすために,不確かさを意識した教師学習を提案する。
また、2つの学生ネットワーク間で信頼性の高いラベルを転送できる学生・学生協調学習を提案する。
提案手法を5つのDS-NERデータセット上で評価し,提案手法が最先端のDS-NER手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 24.733773208117363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distantly-Supervised Named Entity Recognition (DS-NER) is widely used in real-world scenarios. It can effectively alleviate the burden of annotation by matching entities in existing knowledge bases with snippets in the text but suffer from the label noise. Recent works attempt to adopt the teacher-student framework to gradually refine the training labels and improve the overall robustness. However, these teacher-student methods achieve limited performance because the poor calibration of the teacher network produces incorrectly pseudo-labeled samples, leading to error propagation. Therefore, we propose: (1) Uncertainty-Aware Teacher Learning that leverages the prediction uncertainty to reduce the number of incorrect pseudo labels in the self-training stage; (2) Student-Student Collaborative Learning that allows the transfer of reliable labels between two student networks instead of indiscriminately relying on all pseudo labels from its teacher, and further enables a full exploration of mislabeled samples rather than simply filtering unreliable pseudo-labeled samples. We evaluate our proposed method on five DS-NER datasets, demonstrating that our method is superior to the state-of-the-art DS-NER methods.
- Abstract（参考訳）: Distantly-Supervised Named Entity Recognition (DS-NER) は現実世界のシナリオで広く使われている。
既存の知識ベース内のエンティティとテキスト中のスニペットとを一致させることで、アノテーションの負担を効果的に軽減できるが、ラベルノイズに悩まされる。
最近の研究は、教師の学習フレームワークを採用して、トレーニングラベルを徐々に洗練し、全体的な堅牢性を向上させることを目的としている。
しかし、教師ネットワークのキャリブレーションが不十分なため、これらの教師学生の手法は、誤った擬似ラベル付きサンプルを生成し、誤りの伝播を引き起こすため、限られた性能を達成する。
そこで本研究では,(1)自己学習段階における誤った擬似ラベルの数を減少させるために予測の不確実性を活用する不確実性学習,(2)教師の擬似ラベルを無差別に頼らずに2つの学生ネットワーク間で信頼性の高いラベルの移動を可能にする学生・学生協調学習,そしてさらに,信頼できない擬似ラベルのサンプルをフィルタリングするよりも、誤ラベル付きサンプルの完全な探索を可能にすることを提案する。
提案手法を5つのDS-NERデータセット上で評価し,提案手法が最先端のDS-NER手法よりも優れていることを示す。
関連論文リスト
- Credible Teacher for Semi-Supervised Object Detection in Open Scene [106.25850299007674]
Open Scene Semi-Supervised Object Detection (O-SSOD)では、ラベル付きデータはラベル付きデータで観測されていない未知のオブジェクトを含む可能性がある。
より不確実性が、偽ラベルのローカライズと分類精度の低下につながるため、主に自己学習に依存する現在の手法には有害である。
我々は,不確実な擬似ラベルがモデルに誤解をもたらすのを防ぐための,エンドツーエンドのフレームワークであるCredible Teacherを提案する。
論文 参考訳（メタデータ） (2024-01-01T08:19:21Z) - Robust Representation Learning for Unreliable Partial Label Learning [86.909511808373]
部分ラベル学習(Partial Label Learning, PLL)は、弱い教師付き学習の一種で、各トレーニングインスタンスに候補ラベルのセットが割り当てられる。
これはUn Reliable partial Label Learning (UPLL) と呼ばれ、部分ラベルの本質的な信頼性の欠如とあいまいさにより、さらなる複雑さをもたらす。
本研究では,信頼できない部分ラベルに対するモデル強化を支援するために,信頼性に欠けるコントラスト学習を活用するUnreliability-Robust Representation Learning framework(URRL)を提案する。
論文 参考訳（メタデータ） (2023-08-31T13:37:28Z) - Distantly-Supervised Named Entity Recognition with Adaptive Teacher
Learning and Fine-grained Student Ensemble [56.705249154629264]
NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。
本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。
微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
論文 参考訳（メタデータ） (2022-12-13T12:14:09Z) - Label Matching Semi-Supervised Object Detection [85.99282969977541]
半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。
ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。
本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-14T05:59:41Z) - Two Wrongs Don't Make a Right: Combating Confirmation Bias in Learning
with Label Noise [6.303101074386922]
Robust Label Refurbishment (Robust LR) は、擬似ラベルと信頼度推定技術を組み込んだ新しいハイブリッド手法である。
本手法はラベルノイズと確認バイアスの両方の損傷を軽減できることを示す。
例えば、Robust LRは、実世界のノイズデータセットであるWebVisionにおいて、以前の最高値よりも最大4.5%の絶対的トップ1精度の向上を実現している。
論文 参考訳（メタデータ） (2021-12-06T12:10:17Z) - Improving Distantly-Supervised Named Entity Recognition with
Self-Collaborative Denoising Learning [9.747173655999427]
SCDL(Self-Collaborative Denoising Learning)という,堅牢な学習パラダイムを提案する。
SCDLは、2つの教師学生ネットワークを相互に便宜的に訓練し、ノイズの多いラベル精製を反復的に行う。
5つの実世界のデータセットに対する大規模な実験結果から、SCDLは最先端のDS-NER復調法よりも優れていることが示された。
論文 参考訳（メタデータ） (2021-10-09T01:45:03Z) - Unbiased Teacher for Semi-Supervised Object Detection [50.0087227400306]
SS-OD(Semi-Supervised Object Detection)を再検討し,SS-ODにおける擬似ラベルバイアス問題を特定する。
学生と徐々に進歩する教師を相互に利益ある方法で共同で訓練するシンプルで効果的なアプローチであるUnbiased Teacherを紹介します。
論文 参考訳（メタデータ） (2021-02-18T17:02:57Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。