論文の概要: On the Importance of Word Order Information in Cross-lingual Sequence Labeling

• arxiv url: http://arxiv.org/abs/2001.11164v4
• Date: Tue, 8 Dec 2020 11:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 12:12:08.133195
• Title: On the Importance of Word Order Information in Cross-lingual Sequence Labeling
• Title（参考訳）: 言語間シーケンスラベリングにおける語順情報の重要性について
• Authors: Zihan Liu, Genta Indra Winata, Samuel Cahyawijaya, Andrea Madotto, Zhaojiang Lin, Pascale Fung
• Abstract要約: ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
• 参考スコア（独自算出の注目度）: 80.65425412067464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Word order variances generally exist in different languages. In this paper, we hypothesize that cross-lingual models that fit into the word order of the source language might fail to handle target languages. To verify this hypothesis, we investigate whether making models insensitive to the word order of the source language can improve the adaptation performance in target languages. To do so, we reduce the source language word order information fitted to sequence encoders and observe the performance changes. In addition, based on this hypothesis, we propose a new method for fine-tuning multilingual BERT in downstream cross-lingual sequence labeling tasks. Experimental results on dialogue natural language understanding, part-of-speech tagging, and named entity recognition tasks show that reducing word order information fitted to the model can achieve better zero-shot cross-lingual performance. Furthermore, our proposed methods can also be applied to strong cross-lingual baselines, and improve their performances.
• Abstract（参考訳）: 語順のばらつきは一般的に異なる言語に存在する。 本稿では,ソース言語の単語順に適合する言語間モデルが,対象言語を処理できない可能性があるという仮説を立てる。 この仮説を検証するために、ソース言語の単語順序に敏感なモデルを作ることで、ターゲット言語の適応性能を向上させることができるかどうかを検討する。 そのため、シーケンスエンコーダに適合するソース言語単語の順序情報を削減し、性能変化を観察する。 さらに,この仮説に基づき,下流の言語間シーケンスラベリングタスクにおいて,多言語bertを微調整する新しい手法を提案する。 対話自然言語理解,パート・オブ・音声タギング,名前付きエンティティ認識タスクの実験結果から,モデルに適合する単語順序情報の削減により,ゼロショット言語間性能が向上することが示された。 さらに,提案手法を強固な言語間ベースラインに適用し,その性能を向上させることができる。

関連論文リスト

• Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations [38.56175462620892]
  ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。 多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。 本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
  論文  参考訳（メタデータ） (2024-01-11T09:54:11Z)
• Improving Cross-Lingual Transfer through Subtree-Aware Word Reordering [17.166996956587155]
  効果的な言語間移動の障害の1つは、単語順パターンにおける可変性である。 ユニバーサル依存の観点で定義した,新しい強力なリオーダー手法を提案する。 提案手法は,異なる言語ペアとモデルアーキテクチャに対して,強いベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2023-10-20T15:25:53Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation [0.6882042556551609]
  一部のTransformerベースのモデルは、言語間変換学習を実行することができる。 このようなモデルによって構築された文脈化表現のアライメントを評価するための単語レベルタスク非依存手法を提案する。
  論文  参考訳（メタデータ） (2022-07-19T05:23:18Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。