Fugu-MT 論文翻訳(概要): Improving Self-training for Cross-lingual Named Entity Recognition with Contrastive and Prototype Learning

論文の概要: Improving Self-training for Cross-lingual Named Entity Recognition with Contrastive and Prototype Learning

arxiv url: http://arxiv.org/abs/2305.13628v2
Date: Sun, 4 Jun 2023 16:32:41 GMT
ステータス: 処理完了
システム内更新日: 2023-06-07 00:59:23.624706
Title: Improving Self-training for Cross-lingual Named Entity Recognition with Contrastive and Prototype Learning
Title（参考訳）: コントラスト学習とプロトタイプ学習による言語横断型エンティティ認識のための自己学習の改善
Authors: Ran Zhou, Xin Li, Lidong Bing, Erik Cambria, Chunyan Miao
Abstract要約: 言語横断的な実体認識において、自己学習は言語的ギャップを埋めるために一般的に用いられる。本研究では,表現学習と擬似ラベル改善を組み合わせることで,言語間NERの自己学習を改善することを目的とする。提案手法,すなわちContProtoは主に,(1)コントラスト型自己学習と(2)プロトタイプベース擬似ラベルの2つのコンポーネントから構成される。
参考スコア（独自算出の注目度）: 80.08139343603956
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In cross-lingual named entity recognition (NER), self-training is commonly used to bridge the linguistic gap by training on pseudo-labeled target-language data. However, due to sub-optimal performance on target languages, the pseudo labels are often noisy and limit the overall performance. In this work, we aim to improve self-training for cross-lingual NER by combining representation learning and pseudo label refinement in one coherent framework. Our proposed method, namely ContProto mainly comprises two components: (1) contrastive self-training and (2) prototype-based pseudo-labeling. Our contrastive self-training facilitates span classification by separating clusters of different classes, and enhances cross-lingual transferability by producing closely-aligned representations between the source and target language. Meanwhile, prototype-based pseudo-labeling effectively improves the accuracy of pseudo labels during training. We evaluate ContProto on multiple transfer pairs, and experimental results show our method brings in substantial improvements over current state-of-the-art methods.
Abstract（参考訳）: 言語横断的エンティティ認識(NER)では、擬似ラベル付きターゲット言語データに基づく訓練により、言語ギャップをブリッジするために自己学習が一般的である。しかし、ターゲット言語での準最適性能のため、擬似ラベルはしばしばノイズが多く、全体的な性能が制限される。本研究は,表現学習と擬似ラベルの洗練を両立させることにより,言語間NERの自己学習を改善することを目的とする。提案手法,すなわちContProtoは主に,(1)コントラスト型自己学習と(2)プロトタイプベース擬似ラベルの2つのコンポーネントから構成される。対照的な自己学習は、異なるクラスの集合を分離することでスパン分類を促進し、ソースとターゲット言語間の密結合表現を生成することにより、言語間転送性を高める。一方、プロトタイプベースの擬似ラベルは、トレーニング中の擬似ラベルの精度を効果的に向上させる。提案手法は,複数のトランスファーペアにおけるcontprotoを評価し,現行手法よりも大幅に改善することを示す。

関連論文リスト

mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view Contrastive Learning [54.523172171533645]
CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。 40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
論文参考訳（メタデータ） (2023-08-17T16:02:29Z)
VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
論文参考訳（メタデータ） (2023-04-17T12:23:41Z)
ConNER: Consistency Training for Cross-lingual Named Entity Recognition [96.84391089120847]
言語間の名前付きエンティティ認識は、対象言語のデータの不足に悩まされる。言語間NERのための新しい一貫性トレーニングフレームワークとしてConNERを提案する。
論文参考訳（メタデータ） (2022-11-17T07:57:54Z)
CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
論文参考訳（メタデータ） (2022-10-13T13:32:36Z)
Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
論文参考訳（メタデータ） (2022-04-11T15:55:20Z)
PseCo: Pseudo Labeling and Consistency Training for Semi-Supervised Object Detection [42.75316070378037]
予測誘導ラベル割り当て(PLA)と正の確率整合投票(PCV)を含むNPL(Noisy Pseudo box Learning)を提案する。ベンチマークでは PSEudo labeling と Consistency training (PseCo) が SOTA (Soft Teacher) の2.0, 1.8, 2.0 を1%, 5%, 10% で上回っている。
論文参考訳（メタデータ） (2022-03-30T13:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。