論文の概要: Revisiting Language Encoding in Learning Multilingual Representations

• arxiv url: http://arxiv.org/abs/2102.08357v1
• Date: Tue, 16 Feb 2021 18:47:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 15:18:56.435581
• Title: Revisiting Language Encoding in Learning Multilingual Representations
• Title（参考訳）: 多言語表現の学習における言語符号化の見直し
• Authors: Shengjie Luo, Kaiyuan Gao, Shuxin Zheng, Guolin Ke, Di He, Liwei Wang, Tie-Yan Liu
• Abstract要約: 言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。 実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
• 参考スコア（独自算出の注目度）: 70.01772581545103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer has demonstrated its great power to learn contextual word representations for multiple languages in a single model. To process multilingual sentences in the model, a learnable vector is usually assigned to each language, which is called "language embedding". The language embedding can be either added to the word embedding or attached at the beginning of the sentence. It serves as a language-specific signal for the Transformer to capture contextual representations across languages. In this paper, we revisit the use of language embedding and identify several problems in the existing formulations. By investigating the interaction between language embedding and word embedding in the self-attention module, we find that the current methods cannot reflect the language-specific word correlation well. Given these findings, we propose a new approach called Cross-lingual Language Projection (XLP) to replace language embedding. For a sentence, XLP projects the word embeddings into language-specific semantic space, and then the projected embeddings will be fed into the Transformer model to process with their language-specific meanings. In such a way, XLP achieves the purpose of appropriately encoding "language" in a multilingual Transformer model. Experimental results show that XLP can freely and significantly boost the model performance on extensive multilingual benchmark datasets. Codes and models will be released at https://github.com/lsj2408/XLP.
• Abstract（参考訳）: Transformerは、複数の言語に対する文脈表現を単一のモデルで学習する大きな力を示した。 モデルで多言語文を処理するために、学習可能なベクトルは通常各言語に割り当てられ、これは「言語埋め込み」と呼ばれる。 言語の埋め込みは、単語の埋め込みに追加するか、文の先頭に添付することができる。 これは、トランスフォーマーが言語間のコンテキスト表現をキャプチャする言語固有の信号として機能する。 本稿では,言語組込みの利用を再検討し,既存の定式化における諸問題を明らかにする。 自己認識モジュールにおける言語埋め込みと単語埋め込みの相互作用を調べた結果,現在の手法は言語固有の単語相関をよく反映できないことがわかった。 そこで本研究では,XLP(Cross-lingual Language Projection)と呼ばれる言語埋め込みを置き換える手法を提案する。 文の場合、XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに入力され、言語固有の意味で処理されます。 このようにして、XLPは多言語トランスフォーマーモデルで「言語」を適切に符号化する目的を達成する。 実験結果は、XLPが広範囲の多言語ベンチマークデータセットでモデルのパフォーマンスを自由かつ有意に向上できることを示しています。 コードとモデルはhttps://github.com/lsj2408/XLPでリリースされる。

関連論文リスト

• LEIA: Facilitating Cross-lingual Knowledge Transfer in Language Models with Entity-based Data Augmentation [21.980770995466134]
  言語間で整列したウィキペディアのエンティティ名を利用する言語適応チューニング手法であるLEIAを紹介する。 この方法は、ターゲット言語コーパスを英語のエンティティ名で拡張し、左から右への言語モデリングを用いてモデルを訓練することを含む。
  論文  参考訳（メタデータ） (2024-02-18T07:24:34Z)
• Counterfactually Probing Language Identity in Multilingual Models [15.260518230218414]
  多言語モデルの内部構造を探索するために, 対実的探索法AlterRepを用いる。 言語 X のテンプレートを考えると、言語 Y が言語 Y の単語の確率を体系的に増加させることが分かる。
  論文  参考訳（メタデータ） (2023-10-29T01:21:36Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes [0.2538209532048867]
  オルソゴン構造プローブ(Limisiewicz and Marevcek, 2021)では、特定の言語的特徴についてこの疑問に答えることができる。 InmBERTの文脈表現を符号化した構文(UD)と語彙(WordNet)構造情報を9つの多言語で評価した。 ゼロショットと少数ショットのクロスランガル構文解析にこの結果を適用した。
  論文  参考訳（メタデータ） (2021-09-10T15:03:11Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。