論文の概要: MELM: Data Augmentation with Masked Entity Language Modeling for Cross-lingual NER

• arxiv url: http://arxiv.org/abs/2108.13655v1
• Date: Tue, 31 Aug 2021 07:37:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 14:33:12.178004
• Title: MELM: Data Augmentation with Masked Entity Language Modeling for Cross-lingual NER
• Title（参考訳）: MELM: 言語間NERのためのマスクエンティティ言語モデリングによるデータ拡張
• Authors: Ran Zhou, Ruidan He, Xin Li, Lidong Bing, Erik Cambria, Luo Si, Chunyan Miao
• Abstract要約: Masked-Entity Language Modeling (MELM) を用いたデータ拡張フレームワークを提案する。 MELMは、NERラベルを文コンテキストに線形化するので、細調整されたMELMは、ラベルを明示的に条件付けすることでマスク付きトークンを予測することができる。 未ラベル対象データが利用可能で、MELMが擬似ラベル対象データの拡張にさらに適用可能な場合、性能ゲインは5.7%に達する。
• 参考スコア（独自算出の注目度）: 73.91145686634133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation for cross-lingual NER requires fine-grained control over token labels of the augmented text. Existing augmentation approach based on masked language modeling may replace a labeled entity with words of a different class, which makes the augmented sentence incompatible with the original label sequence, and thus hurts the performance.We propose a data augmentation framework with Masked-Entity Language Modeling (MELM) which effectively ensures the replacing entities fit the original labels. Specifically, MELM linearizes NER labels into sentence context, and thus the fine-tuned MELM is able to predict masked tokens by explicitly conditioning on their labels. Our MELM is agnostic to the source of data to be augmented. Specifically, when MELM is applied to augment training data of the source language, it achieves up to 3.5% F1 score improvement for cross-lingual NER. When unlabeled target data is available and MELM can be further applied to augment pseudo-labeled target data, the performance gain reaches 5.7%. Moreover, MELM consistently outperforms multiple baseline methods for data augmentation.
• Abstract（参考訳）: 言語間NERのためのデータ拡張には、拡張テキストのトークンラベルを細かく制御する必要がある。 マスク付き言語モデリングに基づく既存の拡張アプローチは、ラベル付きエンティティを異なるクラスの単語に置き換える可能性があり、拡張された文は元のラベルシーケンスと互換性がなく、パフォーマンスを損なう。 具体的には、MELMはNERラベルを文コンテキストに線形化し、微調整されたMELMはラベルを明示的に条件付けすることでマスク付きトークンを予測することができる。 私たちのMELMは、拡張されるデータのソースに依存しません。 具体的には、melmをソース言語のトレーニングデータ強化に適用すると、言語間nerの最大3.5%のf1スコア改善を達成している。 未ラベル対象データが利用可能で、MELMが擬似ラベル対象データの拡張にさらに適用可能な場合、性能ゲインは5.7%に達する。 さらに、MELMはデータ拡張のための複数のベースラインメソッドよりも一貫して優れています。

関連論文リスト

• Entity Alignment with Noisy Annotations from Large Language Models [15.189701951003611]
  我々は,大規模言語モデルをEAに効果的に活用するための統一フレームワーク LLM4EA を提案する。 具体的には、アノテーション空間を大幅に削減するために、新しいアクティブな学習ポリシーを設計する。 基本EAモデルからのフィードバックに基づいて、ポリシーを反復的に最適化します。
  論文  参考訳（メタデータ） (2024-05-27T03:52:55Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• Semantically Consistent Data Augmentation for Neural Machine Translation via Conditional Masked Language Model [5.756426081817803]
  本稿では,ニューラルマシン翻訳のための新しいデータ拡張手法を提案する。 本手法は条件付きマスケプド言語モデル(CMLM)に基づく。 CMLMは置換時にソースとターゲットの両方に条件付けすることで意味的整合性を高めることができることを示す。
  論文  参考訳（メタデータ） (2022-09-22T09:19:08Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Focus on the Target's Vocabulary: Masked Label Smoothing for Machine Translation [25.781293857729864]
  Masked Label Smoothing (MLS)は、ソース側の単語のソフトラベル確率をゼロに隠蔽する新しいメカニズムである。 実験の結果,MLSは異なるデータセット上でのラベルスムース化よりも改善することがわかった。
  論文  参考訳（メタデータ） (2022-03-06T07:01:39Z)
• Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model [93.9943278892735]
  タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。 提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:01:32Z)
• Label Mask for Multi-Label Text Classification [6.742627397194543]
  本稿では,言語モデルのクローズ問題に着想を得た多言語テキスト分類モデル (LM-MTC) を提案する。 そこで,各潜在的なラベルに対して異なるトークンを割り当て,ある確率でランダムにトークンをマスクし,ラベルに基づくマスケッド言語モデル(MLM)を構築する。
  論文  参考訳（メタデータ） (2021-06-18T11:54:33Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。