論文の概要: Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages

• arxiv url: http://arxiv.org/abs/2305.17179v1
• Date: Fri, 26 May 2023 18:06:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 21:31:59.393652
• Title: Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages
• Title（参考訳）: Tokenizationが言語モデリングに影響を及ぼす - 語彙の割り当てと言語間のオーバーラップを評価する
• Authors: Tomasz Limisiewicz and Ji\v{r}\'i Balhar and David Mare\v{c}ek
• Abstract要約: サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
• 参考スコア（独自算出の注目度）: 3.716965622352967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual language models have recently gained attention as a promising solution for representing multiple languages in a single model. In this paper, we propose new criteria to evaluate the quality of lexical representation and vocabulary overlap observed in sub-word tokenizers. Our findings show that the overlap of vocabulary across languages can be actually detrimental to certain downstream tasks (POS, dependency tree labeling). In contrast, NER and sentence-level tasks (cross-lingual retrieval, NLI) benefit from sharing vocabulary. We also observe that the coverage of the language-specific tokens in the multilingual vocabulary significantly impacts the word-level tasks. Our study offers a deeper understanding of the role of tokenizers in multilingual language models and guidelines for future model developers to choose the most suitable tokenizer for their specific application before undertaking costly model pre-training
• Abstract（参考訳）: マルチ言語モデルは最近、単一のモデルで複数の言語を表現するための有望なソリューションとして注目を集めている。 本稿では,サブワードトークン化器で観測される語彙的表現と語彙的重複の質を評価するための新しい基準を提案する。 その結果,言語間の語彙の重複は,特定の下流タスク(POS,依存性木ラベリング)に対して有害であることがわかった。 対照的に、NERと文レベルのタスク(言語間検索、NLI)は語彙の共有の恩恵を受ける。 また、多言語語彙における言語固有のトークンのカバレッジが単語レベルのタスクに大きな影響を与えることも観察した。 本研究は,多言語言語モデルにおけるトークンライザの役割についてより深く理解し,将来モデル開発者が,コストのかかる事前学習を行う前に,特定のアプリケーションに適したトークンライザを選択するためのガイドラインを提供する。

関連論文リスト

• A Vocabulary-Free Multilingual Neural Tokenizer for End-to-End Task Learning [8.052271364177988]
  サブワードトークン化は、最近のNLPモデルで一般的に使われる入力前処理のステップである。 本稿では,サブワードトークン化からセグメンテーション情報を抽出し,語彙自由なニューラルトークン化手法を提案する。 我々のトークンライザは、多言語(NLI)タスクとコードスイッチング(センチメント分析)タスクのパフォーマンスを一貫して改善します。
  論文  参考訳（メタデータ） (2022-04-22T16:50:49Z)
• Allocating Large Vocabulary Capacity for Cross-lingual Language Model Pre-training [59.571632468137075]
  最近の言語間言語モデルでは,語彙の容量が限られているため,多くの言語が不足していることがわかった。 本稿では,各言語の語彙能力を決定するアルゴリズムであるVoCapを提案する。 この問題に対処するために,k-NNに基づくターゲットサンプリングを提案し,コストの高いソフトマックスを高速化する。
  論文  参考訳（メタデータ） (2021-09-15T14:04:16Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Improving Multilingual Models with Language-Clustered Vocabularies [8.587129426070979]
  本稿では,複数の自動派生言語クラスタの別々に訓練された語彙を組み合わせた多言語語彙生成のための新しい手法を提案する。 我々の実験は、主要なマルチ言語ベンチマークタスクにおける言語間の改善を示す。
  論文  参考訳（メタデータ） (2020-10-24T04:49:15Z)
• Multilingual Jointly Trained Acoustic and Written Word Embeddings [22.63696520064212]
  このアイデアを複数の低リソース言語に拡張します。 我々は、複数の言語から音声で書き起こされたデータを用いて、AWEモデルとAGWEモデルを共同で訓練する。 事前トレーニングされたモデルは、目に見えないゼロリソース言語や、低リソース言語のデータを微調整するために使用することができる。
  論文  参考訳（メタデータ） (2020-06-24T19:16:02Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。