論文の概要: Improving Distantly-Supervised Named Entity Recognition with
Self-Collaborative Denoising Learning
- arxiv url: http://arxiv.org/abs/2110.04429v1
- Date: Sat, 9 Oct 2021 01:45:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 17:10:53.859090
- Title: Improving Distantly-Supervised Named Entity Recognition with
Self-Collaborative Denoising Learning
- Title(参考訳): 自己協調型Denoising Learningによる遠隔教師付きエンティティ認識の改善
- Authors: Xinghua Zhang, Bowen Yu, Tingwen Liu, Zhenyu Zhang, Jiawei Sheng,
Mengge Xue, Hongbo Xu
- Abstract要約: SCDL(Self-Collaborative Denoising Learning)という,堅牢な学習パラダイムを提案する。
SCDLは、2つの教師学生ネットワークを相互に便宜的に訓練し、ノイズの多いラベル精製を反復的に行う。
5つの実世界のデータセットに対する大規模な実験結果から、SCDLは最先端のDS-NER復調法よりも優れていることが示された。
- 参考スコア(独自算出の注目度): 9.747173655999427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distantly supervised named entity recognition (DS-NER) efficiently reduces
labor costs but meanwhile intrinsically suffers from the label noise due to the
strong assumption of distant supervision. Typically, the wrongly labeled
instances comprise numbers of incomplete and inaccurate annotation noise, while
most prior denoising works are only concerned with one kind of noise and fail
to fully explore useful information in the whole training set. To address this
issue, we propose a robust learning paradigm named Self-Collaborative Denoising
Learning (SCDL), which jointly trains two teacher-student networks in a
mutually-beneficial manner to iteratively perform noisy label refinery. Each
network is designed to exploit reliable labels via self denoising, and two
networks communicate with each other to explore unreliable annotations by
collaborative denoising. Extensive experimental results on five real-world
datasets demonstrate that SCDL is superior to state-of-the-art DS-NER denoising
methods.
- Abstract(参考訳): 遠隔管理型エンティティ認識 (DS-NER) は, 作業コストを効率よく削減するが, 遠隔監視の強い前提により, ラベルノイズに本質的に悩まされる。
一般に、誤ったラベル付けされたインスタンスは不完全で不正確なアノテーションノイズの個数から構成されるが、ほとんどの事前のノイズ処理は1種類のノイズにのみ関係しており、トレーニングセット全体において有用な情報を十分に探索できない。
そこで本研究では,2つの教師・学生ネットワークを相互に便宜的に訓練し,ノイズの多いラベルリファリングを反復的に行う,自己協調型学習(SCDL)という頑健な学習パラダイムを提案する。
それぞれのネットワークは、信頼性の高いラベルを自己記述によって活用するように設計されており、2つのネットワークが相互に通信して、協調記述による信頼性の低いアノテーションを探索する。
5つの実世界のデータセットに対する大規模な実験結果から、SCDLは最先端DS-NER復調法よりも優れていることが示された。
関連論文リスト
- Distantly-Supervised Named Entity Recognition with Uncertainty-aware
Teacher Learning and Student-student Collaborative Learning [25.97406608992136]
ネットワークキャリブレーションの貧弱さが,誤った擬似ラベル付きサンプルを生成するため,教師学生の手法は限られた性能を達成すると論じる。
本研究では,予測の不確実性を利用して擬似ラベルの選択を誘導する不確実性学習を提案する。
我々の手法は、最先端の教師/学生の方法よりも優れている。
論文 参考訳(メタデータ) (2023-11-14T09:09:58Z) - Improving a Named Entity Recognizer Trained on Noisy Data with a Few
Clean Instances [55.37242480995541]
クリーンなインスタンスの小さなセットから,ノイズの多いNERデータを誘導することで,ノイズを発生させる手法を提案する。
メインのNERモデルとともに、判別器モデルをトレーニングし、その出力を使用してサンプルの重み付けを校正します。
クラウドソーシングと遠隔監視データセットの結果から,提案手法は少ないガイダンスセットで継続的に性能を向上させることができることが示された。
論文 参考訳(メタデータ) (2023-10-25T17:23:37Z) - Distantly-Supervised Joint Entity and Relation Extraction with
Noise-Robust Learning [38.39011891497543]
結合エンティティと関係抽出は、一つのモデルを用いてエンティティペアとその関係を識別するプロセスである。
本稿では,テキストコーパス内のエンティティの言及と,それに対応するエンティティや関係型を知識ベースで整列させることによって生成する,遠隔ラベル付きデータに基づいてこれらのモデルをトレーニングする問題に焦点をあてる。
1)事前学習したGPT-2を同時エンティティと関係検出のためのシーケンスタギングスキームに組み込み,2)有意関係パターンと実体の両方との不整合性を罰する新たな損失関数を含むノイズロバスト学習フレームワークを導入する,という新しいノイズロバストアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-08T03:42:15Z) - Distantly-Supervised Named Entity Recognition with Adaptive Teacher
Learning and Fine-grained Student Ensemble [56.705249154629264]
NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。
本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。
微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
論文 参考訳(メタデータ) (2022-12-13T12:14:09Z) - ConNER: Consistency Training for Cross-lingual Named Entity Recognition [96.84391089120847]
言語間の名前付きエンティティ認識は、対象言語のデータの不足に悩まされる。
言語間NERのための新しい一貫性トレーニングフレームワークとしてConNERを提案する。
論文 参考訳(メタデータ) (2022-11-17T07:57:54Z) - Towards Harnessing Feature Embedding for Robust Learning with Noisy
Labels [44.133307197696446]
ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。
ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
論文 参考訳(メタデータ) (2022-06-27T02:45:09Z) - Learning with Noisy Labels Revisited: A Study Using Real-World Human
Annotations [54.400167806154535]
ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。
本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。
実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
論文 参考訳(メタデータ) (2021-10-22T22:42:11Z) - Distantly-Supervised Named Entity Recognition with Noise-Robust Learning
and Language Model Augmented Self-Training [66.80558875393565]
遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。
本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。
提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2021-09-10T17:19:56Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳(メタデータ) (2021-01-14T05:43:51Z) - Noisy Concurrent Training for Efficient Learning under Label Noise [13.041607703862724]
ディープニューラルネットワーク(DNN)はラベルノイズの下で効果的に学習することができず、その性能に影響を与えるランダムなラベルを記憶することが示されている。
我々は,単独で学習すること,ワンホット符号化ラベルを唯一の監督源として使用すること,および標準訓練手順の主な欠点として記憶を阻害するための正規化の欠如を考察する。
協調学習を活用して2つのモデル間のコンセンサスを新たな監督源として活用するノイズコンカレントトレーニング(NCT)を提案する。
論文 参考訳(メタデータ) (2020-09-17T14:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。