論文の概要: Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New
Approach Using XLM-RoBERTa Alignment
- arxiv url: http://arxiv.org/abs/2101.11112v1
- Date: Tue, 26 Jan 2021 22:19:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-14 00:39:09.177469
- Title: Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New
Approach Using XLM-RoBERTa Alignment
- Title（参考訳）: 並列コーパスを用いた言語間単語認識:XLM-RoBERTaアライメントを用いた新しいアプローチ
- Authors: Bing Li, Yujie He and Wenjin Xu
- Abstract要約: 我々は、XLM-RoBERTa上にエンティティアライメントモデルを構築し、並列データの英語部分で検出されたエンティティを対象言語文に投影する。
翻訳方法とは異なり、このアプローチはターゲット言語のオリジナルコーパスの自然な流派性とニュアンスから利益を得ます。
提案手法をベンチマークデータセット上で4つのターゲット言語に対して評価し,最新のSOTAモデルと比較してF1スコアを得た。
- 参考スコア（独自算出の注目度）: 5.747195707763152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel approach for cross-lingual Named Entity Recognition (NER)
zero-shot transfer using parallel corpora. We built an entity alignment model
on top of XLM-RoBERTa to project the entities detected on the English part of
the parallel data to the target language sentences, whose accuracy surpasses
all previous unsupervised models. With the alignment model we can get
pseudo-labeled NER data set in the target language to train task-specific
model. Unlike using translation methods, this approach benefits from natural
fluency and nuances in target-language original corpus. We also propose a
modified loss function similar to focal loss but assigns weights in the
opposite direction to further improve the model training on noisy
pseudo-labeled data set. We evaluated this proposed approach over 4 target
languages on benchmark data sets and got competitive F1 scores compared to most
recent SOTA models. We also gave extra discussions about the impact of parallel
corpus size and domain on the final transfer performance.
- Abstract（参考訳）: 並列コーパスを用いた言語間名前付きエンティティ認識(NER)ゼロショット転送のための新しい手法を提案する。
我々は、XLM-RoBERTa上にエンティティアライメントモデルを構築し、並列データの英語部分で検出されたエンティティを対象言語文に投影した。
アライメントモデルでは、ターゲット言語で擬似ラベル付きNERデータセットを取得して、タスク固有のモデルをトレーニングできます。
翻訳方法とは異なり、このアプローチはターゲット言語のオリジナルコーパスの自然な流派性とニュアンスから利益を得ます。
また, 焦点損失に類似した修正損失関数を提案するが, 逆方向の重みを割り当てることで, うるさい擬似ラベルデータセットのモデルトレーニングをさらに改善する。
提案手法をベンチマークデータセット上で4つのターゲット言語に対して評価し,最新のSOTAモデルと比較してF1スコアを得た。
また, 並列コーパスサイズとドメインが最終転送性能に与える影響についても検討した。
関連論文リスト
- Reuse Your Rewards: Reward Model Transfer for Zero-Shot Cross-Lingual Alignment [39.94156255629528]
ゼロショット・クロスランガルアライメントのための簡単なアプローチを評価する。
言語間の整列モデルは、非整列モデルよりも人間の方が好まれる。
異なる言語報酬モデルでは、同言語報酬モデルよりも優れた整列モデルが得られることがある。
論文 参考訳（メタデータ） (2024-04-18T16:52:36Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual
Labeled Sequence Translation [113.99145386490639]
言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。
ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。
多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
論文 参考訳（メタデータ） (2022-10-13T13:32:36Z) - Non-Parametric Unsupervised Domain Adaptation for Neural Machine
Translation [61.27321597981737]
$k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。
対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-14T11:50:01Z) - Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。
この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。
本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文 参考訳（メタデータ） (2021-09-09T03:48:35Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Unsupervised Pretraining for Neural Machine Translation Using Elastic
Weight Consolidation [0.0]
本研究は、ニューラルネットワーク翻訳における教師なし事前訓練(NMT)の現在進行中の研究を提示する。
本研究では,モノリンガルデータを用いて学習した2つの言語モデルを用いて,エンコーダとデコーダの重み付けを初期化する。
両方向のNMTエンコーダを左から右への言語モデルで初期化し、元の左から右への言語モデリングタスクを記憶させることで、エンコーダの学習能力が制限されることを示す。
論文 参考訳（メタデータ） (2020-10-19T11:51:45Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳（メタデータ） (2020-10-18T00:21:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。