論文の概要: Language Model Tokenizers Introduce Unfairness Between Languages
- arxiv url: http://arxiv.org/abs/2305.15425v2
- Date: Fri, 20 Oct 2023 10:09:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 05:46:04.000457
- Title: Language Model Tokenizers Introduce Unfairness Between Languages
- Title（参考訳）: 言語モデルトケナイザが言語間の不公平を導入
- Authors: Aleksandar Petrov, Emanuele La Malfa, Philip H.S. Torr, Adel Bibi
- Abstract要約: トークン化段階では,モデルが呼び出される直前に,異なる言語に対する扱いの相違が生じることを示す。
文字レベルとバイトレベルのモデルも、いくつかの言語ペアの符号化長の4倍以上の差を示している。
我々は、多言語で公平なサブワードトークン化器を用いて、将来の言語モデルを訓練するべきだと仮定する。
- 参考スコア（独自算出の注目度）: 98.92630681729518
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent language models have shown impressive multilingual performance, even
when not explicitly trained for it. Despite this, there are concerns about the
quality of their outputs across different languages. In this paper, we show how
disparity in the treatment of different languages arises at the tokenization
stage, well before a model is even invoked. The same text translated into
different languages can have drastically different tokenization lengths, with
differences up to 15 times in some cases. These disparities persist even for
tokenizers that are intentionally trained for multilingual support.
Character-level and byte-level models also exhibit over 4 times the difference
in the encoding length for some language pairs. This induces unfair treatment
for some language communities in regard to the cost of accessing commercial
language services, the processing time and latency, as well as the amount of
content that can be provided as context to the models. Therefore, we make the
case that we should train future language models using multilingually fair
subword tokenizers.
- Abstract（参考訳）: 最近の言語モデルは、明示的に訓練されていない場合でも、印象的な多言語性能を示している。
それにもかかわらず、異なる言語にわたるアウトプットの品質に関する懸念がある。
本稿では,モデルが呼び出されるずっと前に,トークン化段階において,異なる言語に対する処理の相違がいかに発生するかを示す。
同じテキストが異なる言語に翻訳された場合、トークン化の長さは大きく異なり、15回までの違いがある。
これらの格差は、多言語サポートのために意図的に訓練されたトークン処理者でさえ持続する。
文字レベルとバイトレベルのモデルは、いくつかの言語ペアのエンコーディング長の4倍以上の差を示す。
これは、商用言語サービスへのアクセスコスト、処理時間とレイテンシ、およびモデルにコンテキストとして提供可能なコンテンツの量に関して、一部の言語コミュニティにとって不公平な扱いを誘導します。
したがって,多言語で公平なサブワードトークン化器を用いて,将来の言語モデルを訓練すべきである。
関連論文リスト
- The Less the Merrier? Investigating Language Representation in
Multilingual Models [8.632506864465501]
多言語モデルにおける言語表現について検討する。
我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
論文 参考訳（メタデータ） (2023-10-20T02:26:34Z) - Tokenization Impacts Multilingual Language Modeling: Assessing
Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。
以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
論文 参考訳（メタデータ） (2023-05-26T18:06:49Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。
この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文 参考訳（メタデータ） (2021-03-24T16:20:02Z) - How Good is Your Tokenizer? On the Monolingual Performance of
Multilingual Language Models [96.32118305166412]
本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。
多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
論文 参考訳（メタデータ） (2020-12-31T14:11:00Z) - When Being Unseen from mBERT is just the Beginning: Handling New
Languages With Multilingual Language Models [2.457872341625575]
大量の生データに基づく事前学習言語モデルに基づく伝達学習は,NLPの最先端性能に到達するための新しい規範となっている。
このようなモデルは、目に見えない言語に対して複数の方法で振る舞うことを示す。
論文 参考訳（メタデータ） (2020-10-24T10:15:03Z) - Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text
Classification [52.69730591919885]
本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。
多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
論文 参考訳（メタデータ） (2020-07-29T19:38:35Z) - Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。
単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
論文 参考訳（メタデータ） (2020-04-09T01:03:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。