論文の概要: Multilingual Entity and Relation Extraction from Unified to Language-specific Training

• arxiv url: http://arxiv.org/abs/2301.04434v1
• Date: Wed, 11 Jan 2023 12:26:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 14:42:11.073679
• Title: Multilingual Entity and Relation Extraction from Unified to Language-specific Training
• Title（参考訳）: 統一型言語訓練からの多言語エンティティと関係抽出
• Authors: Zixiang Wang, Jian Yang, Tongliang Li, Jiaheng Liu, Ying Mo, Jiaqi Bai, Longtao He and Zhoujun Li
• Abstract要約: エンティティと関係抽出タスクの既存のアプローチは、主に英語のコーパスに焦点を当て、他の言語を無視している。 言語干渉を軽減するために,2段階の多言語学習手法と,Multilingual Entity and Relation extract framework (mERE) と呼ばれるジョイントモデルを提案する。 本手法はモノリンガル法と多言語ベースライン法の両方に優れる。
• 参考スコア（独自算出の注目度）: 29.778332361215636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entity and relation extraction is a key task in information extraction, where the output can be used for downstream NLP tasks. Existing approaches for entity and relation extraction tasks mainly focus on the English corpora and ignore other languages. Thus, it is critical to improving performance in a multilingual setting. Meanwhile, multilingual training is usually used to boost cross-lingual performance by transferring knowledge from languages (e.g., high-resource) to other (e.g., low-resource) languages. However, language interference usually exists in multilingual tasks as the model parameters are shared among all languages. In this paper, we propose a two-stage multilingual training method and a joint model called Multilingual Entity and Relation Extraction framework (mERE) to mitigate language interference across languages. Specifically, we randomly concatenate sentences in different languages to train a Language-universal Aggregator (LA), which narrows the distance of embedding representations by obtaining the unified language representation. Then, we separate parameters to mitigate interference via tuning a Language-specific Switcher (LS), which includes several independent sub-modules to refine the language-specific feature representation. After that, to enhance the relational triple extraction, the sentence representations concatenated with the relation feature are used to recognize the entities. Extensive experimental results show that our method outperforms both the monolingual and multilingual baseline methods. Besides, we also perform detailed analysis to show that mERE is lightweight but effective on relational triple extraction and mERE{} is easy to transfer to other backbone models of multi-field tasks, which further demonstrates the effectiveness of our method.
• Abstract（参考訳）: エンティティと関係抽出は情報抽出において重要なタスクであり、出力は下流のNLPタスクに使用できる。 エンティティと関係抽出タスクに対する既存のアプローチは、主に英語コーパスにフォーカスし、他の言語を無視している。 したがって、多言語環境での性能向上が重要である。 一方、多言語訓練は、言語(例えば、ハイリソース)から他の言語(例えば、ローリソース)へ知識を移すことで、言語間パフォーマンスを高めるために使用される。 しかしながら、モデルパラメータがすべての言語で共有されるため、言語干渉は通常、多言語タスクに存在する。 本稿では,言語間の干渉を軽減するための2段階多言語学習手法と,Multilingual Entity and Relation extract framework(mERE)というジョイントモデルを提案する。 具体的には、異なる言語にランダムに結合して、統一された言語表現を得ることで埋め込み表現の距離を狭める言語-ユニバーサルアグリゲータ(la)を訓練する。 次に、言語固有の特徴表現を洗練させるために複数の独立したサブモジュールを含む言語特化スイッチタ(LS)をチューニングすることで、干渉を軽減するためにパラメータを分離する。 その後、関係三重項抽出を強化するために、関係特徴と連結された文表現を用いてエンティティを認識する。 広範な実験結果から,本手法は単言語ベースラインと多言語ベースラインのどちらよりも優れていた。 また,mERE は軽量だが,リレーショナルトリプル抽出に有効であり,mERE{} はマルチフィールドタスクの他のバックボーンモデルへの転送が容易であることを示すための詳細な解析を行い,本手法の有効性を示す。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval [5.446052898856584]
  本稿では,モノリンガル,クロスリンガル,マルチリンガル設定におけるゼロショット検索性能を改善するためのハイブリッドバッチ学習手法を提案する。 このアプローチは、データセットサイズに基づいてサンプリングされたモノリンガルとクロスリンガルの問合せ対のバッチを混合したマルチリンガル言語モデルを微調整する。
  論文  参考訳（メタデータ） (2024-08-20T04:30:26Z)
• Mitigating Language-Level Performance Disparity in mPLMs via Teacher Language Selection and Cross-lingual Self-Distillation [25.850573463743352]
  大規模多言語事前訓練言語モデル(mPLMs)は、言語横断タスクにおいて優れた性能を発揮する。 しかし、mPLM内では異なる言語にまたがって大きな性能格差が存在する。 我々は ALSACE を導入し,優れた言語から学んだ知識を活用して,mPLM の低性能言語を誘導する。
  論文  参考訳（メタデータ） (2024-04-12T14:19:16Z)
• Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations [38.56175462620892]
  ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。 多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。 本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
  論文  参考訳（メタデータ） (2024-01-11T09:54:11Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• A Multilingual Modeling Method for Span-Extraction Reading Comprehension [2.4905424368103444]
  XLRCと呼ばれる多言語抽出読解手法を提案する。 我々のモデルはCMRC 2018タスクにおいて最先端のベースライン(RoBERTa_Large)よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-31T11:05:30Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。