論文の概要: Distantly-Supervised Named Entity Recognition with Adaptive Teacher
Learning and Fine-grained Student Ensemble
- arxiv url: http://arxiv.org/abs/2212.06522v1
- Date: Tue, 13 Dec 2022 12:14:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 14:28:55.514409
- Title: Distantly-Supervised Named Entity Recognition with Adaptive Teacher
Learning and Fine-grained Student Ensemble
- Title（参考訳）: 適応型教師学習ときめ細かい学生アンサンブルを用いた遠隔指導型エンティティ認識
- Authors: Xiaoye Qu, Jun Zeng, Daizong Liu, Zhefeng Wang, Baoxing Huai, Pan Zhou
- Abstract要約: NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。
本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。
微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
- 参考スコア（独自算出の注目度）: 56.705249154629264
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distantly-Supervised Named Entity Recognition (DS-NER) effectively alleviates
the data scarcity problem in NER by automatically generating training samples.
Unfortunately, the distant supervision may induce noisy labels, thus
undermining the robustness of the learned models and restricting the practical
application. To relieve this problem, recent works adopt self-training
teacher-student frameworks to gradually refine the training labels and improve
the generalization ability of NER models. However, we argue that the
performance of the current self-training frameworks for DS-NER is severely
underestimated by their plain designs, including both inadequate student
learning and coarse-grained teacher updating. Therefore, in this paper, we make
the first attempt to alleviate these issues by proposing: (1) adaptive teacher
learning comprised of joint training of two teacher-student networks and
considering both consistent and inconsistent predictions between two teachers,
thus promoting comprehensive student learning. (2) fine-grained student
ensemble that updates each fragment of the teacher model with a temporal moving
average of the corresponding fragment of the student, which enhances consistent
predictions on each model fragment against noise. To verify the effectiveness
of our proposed method, we conduct experiments on four DS-NER datasets. The
experimental results demonstrate that our method significantly surpasses
previous SOTA methods.
- Abstract（参考訳）: Distantly-Supervised Named Entity Recognition (DS-NER) は、トレーニングサンプルを自動的に生成することで、NERのデータ不足を効果的に軽減する。
残念なことに、遠方の監督はノイズの多いラベルを誘導し、学習モデルの堅牢性を損なう可能性があり、実用的な適用を制限する。
この問題を軽減するため,最近の研究では,学習ラベルを徐々に洗練し,nerモデルの一般化能力を向上させるために,教師・教師の自己学習フレームワークが採用されている。
しかし,DS-NERにおける現在の自己学習フレームワークの性能は,不適切な学生学習や粗い教師の更新など,基本的な設計によって著しく過小評価されている。
そこで本稿では,(1)教師と学生のネットワークの協調学習と,教師間の一貫性と一貫性のない予測の両方を考慮し,総合的な学習を促進することによる,これらの問題を緩和するための最初の試みを行う。
2) 教師モデルの各フラグメントを,生徒の対応するフラグメントの時間移動平均値で更新する微細な学生アンサンブルにより,各モデルのフラグメントのノイズに対する一貫した予測が向上する。
提案手法の有効性を検証するため、4つのDS-NERデータセットを用いて実験を行った。
実験の結果,従来の sota 法を大幅に上回ることがわかった。
関連論文リスト
- Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。
SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。
翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
論文 参考訳（メタデータ） (2024-10-15T06:51:25Z) - Teaching-Assistant-in-the-Loop: Improving Knowledge Distillation from Imperfect Teacher Models in Low-Budget Scenarios [3.818273633647809]
3種類の信号型を利用した3成分フレームワークを提案する。
最初の信号は学生の自己整合性(学生の複数の出力の整合性)であり、学生の自信の代用となる。
提案した2段階フレームワークは,データセット間の信号を持たない微調整と比較して,20.79%の相対的な改善を実現している。
論文 参考訳（メタデータ） (2024-06-08T02:17:43Z) - Periodically Exchange Teacher-Student for Source-Free Object Detection [7.222926042027062]
Source-free Object Detection (SFOD) は、ソースドメインデータがない場合に、未ラベルのターゲットドメインデータにソース検出器を適用することを目的としている。
ほとんどのSFOD法は、学生モデルを1つの教師モデルのみで指導する平均教師(MT)フレームワークを用いて、同じ自己学習パラダイムに従っている。
静的教師, 動的教師, 学生モデルからなる複数教師の枠組みを導入する, シンプルながら斬新な手法であるPETS法を提案する。
論文 参考訳（メタデータ） (2023-11-23T11:30:54Z) - Improving the Robustness of Distantly-Supervised Named Entity Recognition via Uncertainty-Aware Teacher Learning and Student-Student Collaborative Learning [24.733773208117363]
自己学習段階における偽ラベルの誤りを減らすために,不確かさを意識した教師学習を提案する。
また、2つの学生ネットワーク間で信頼性の高いラベルを転送できる学生・学生協調学習を提案する。
提案手法を5つのDS-NERデータセット上で評価し,提案手法が最先端のDS-NER手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-14T09:09:58Z) - Competitive Ensembling Teacher-Student Framework for Semi-Supervised
Left Atrium MRI Segmentation [8.338801567668233]
半教師付き学習は、専門家から豊富な注釈を取得する必要性を効果的に軽減するため、医療画像のセグメンテーションが大幅に進歩している。
本稿では,3次元MR画像から左心房分節を半教師する簡易で効率的な競争力のある教員養成フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-21T09:23:34Z) - Adversarial Dual-Student with Differentiable Spatial Warping for
Semi-Supervised Semantic Segmentation [70.2166826794421]
本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。
また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。
我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
論文 参考訳（メタデータ） (2022-03-05T17:36:17Z) - Distantly-Supervised Named Entity Recognition with Noise-Robust Learning
and Language Model Augmented Self-Training [66.80558875393565]
遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。
本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。
提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2021-09-10T17:19:56Z) - Noisy Self-Knowledge Distillation for Text Summarization [83.49809205891496]
我々は, テキスト要約に自己知識蒸留を適用し, 最大習熟時の問題を緩和できると考えている。
学生要約モデルは,学習の正規化を支援するスムーズなラベルを生成する教師の指導によって訓練される。
筆者らは,3つのベンチマークを用いて,事前学習と非事前学習の両方のパフォーマンス向上を実証した。
論文 参考訳（メタデータ） (2020-09-15T12:53:09Z) - Temporal Self-Ensembling Teacher for Semi-Supervised Object Detection [9.64328205496046]
本稿では,半教師付き物体検出(SSOD)に焦点を当てる。
教師モデルは教師と学生の二重の役割を担っている。
SSODの授業不均衡問題は、教師から生徒への効果的な知識伝達を妨げる。
論文 参考訳（メタデータ） (2020-07-13T01:17:25Z) - Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。
クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文 参考訳（メタデータ） (2020-07-09T09:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。