論文の概要: Language-Specific Effects of Tokenizer Choice in Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2610.12144v1
• Date: Thu, 08 Oct 2026 15:29:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.118243
• Title: Language-Specific Effects of Tokenizer Choice in Multilingual Language Models
• Title（参考訳）: 多言語言語モデルにおける tokenizer Choice の言語学的効果
• Abstract要約: 54のトークン化ツールにまたがる123の言語モデルをトレーニングします。 私たちは、言語モデルトレーニングデータが少ない言語では、トークン化ツールの選択がより重要であることに気付きました。
• 参考スコア（独自算出の注目度）: 32.471908663468554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tokenizer choice affects multilingual language modeling, but vocabulary capacity is finite and vocabulary size is often constrained: improving representation for some languages often comes at the expense of others. We therefore ask whether tokenizer choice matters equally across languages, a question that the current literature leave unanswered. To this end, we train 123 language models spanning 54 tokenizers. In the main comparison, architecture, training corpus, training-token budget, and optimization are held fixed, so the models differ only in their tokenizer. We find that tokenizer choice matters more for languages with less language-model training data: across the 54 tokenizers, the standard deviation of a language's bits-per-byte (BPB) increases as its model training-data share decreases (Spearman rho = -0.52 over the 31 trained languages and -0.69 over the 28 written with word boundaries). Leaving a language out of tokenizer training raises its BPB in every language we study, and the penalty tends to be larger for languages with less language-model training data. Giving lower-resource languages a larger share of tokenizer-training data, however, does not unconditionally help those languages: both equal weighting and an allocation inverting the shares with respect to the language model training data increase their BPB, particularly when language-model training repeats data. Finally, which intrinsic tokenizer properties are associated with better BPB differs across languages, providing further evidence that what makes a good tokenizer depends on the language. We find that the metrics quantifying these properties can be successfully used to predict downstream models' pairwise BPB rankings, suggesting a practical strategy for screening tokenizer candidates before training language models.
• Abstract（参考訳）: トケナイザーの選択は多言語言語モデリングに影響を与えるが、語彙のキャパシティは有限であり、語彙のサイズはしばしば制限される。 したがって、トークン化ツールの選択が言語間で等しく重要であるかどうかを問う。 この目的のために、54のトークン化ツールにまたがる123の言語モデルをトレーニングします。 主な比較では、アーキテクチャ、トレーニングコーパス、トレーニングトーケン予算、最適化が固定されているため、モデルが異なるのはトークン化器のみである。 スピアマンrho = -0.52, 単語境界を持つ28の言語では-0.69, モデルのトレーニングデータのシェアが減少するにつれて, 54のトークン化ツールにおいて, 言語ビット単位バイト(BPB)の標準偏差は増加する(スピアマンrho = -0.52, 単語境界を持つ28の言語では-0.69)。 トークンライザのトレーニングから言語を外すことは、私たちが研究しているすべての言語でBPBを上昇させ、言語モデルトレーニングデータが少ない言語ではペナルティが大きくなる傾向があります。 しかし、低リソース言語にトークンゲータ訓練データの大部分を与えることは、これらの言語を無条件で助けるものではない。言語モデルのトレーニングデータに関して、均等な重み付けと共有を反転させる割当の両方が、特に言語モデルトレーニングがデータを繰り返す場合、そのBPBを増加させる。 最後に、どの固有のトークン化剤特性がより優れたBPBと関連付けられているかは言語によって異なるため、優れたトークン化剤を作るものが言語に依存するというさらなる証拠を与える。 これらの特性を定量化する指標は、下流モデルのペアワイズBPBランキングの予測に有効であり、言語モデルの学習前にトークン化候補をスクリーニングするための実用的な戦略が示唆されている。

関連論文リスト

• To Each Language Its Tokenizer: Modular Tokenizers for Efficient Multilingual LLMs [15.23810104303108]
  マルチ言語モデルトレーニングのためのモジュラーフレームワークを導入する。 まず,任意の言語サブセットに適したサブトケナイザの抽出を可能にする,大規模なモジュール型BPEおよびUnigramトークンを学習する手法を提案する。 第2に、サブトケナイザをサンプリングしてバッチを生成する事前学習戦略を設計し、関連する語彙サブセットに予測を制限し、大きな語彙にもかかわらず効率的なトレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-09-14T13:17:35Z)
• LangMAP: A Language-Adaptive Approach to Tokenization [30.443524396044428]
  LangMAPは、UnigramLMアルゴリズムを多言語設定に拡張するトークン化スキームである。 マルチ言語モデルをスクラッチからトレーニングしたり、事前訓練されたモデルのトークン化ツールを個別の言語に適応する際にも使用することができる。 言語ラベルはトレーニング時に必要とされているが、アルゴリズムの重要な特徴は、入力言語の知識なしに推論時に言語固有のトークン化を実行することである。
  論文  参考訳（メタデータ） (2026-06-22T16:32:00Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Language Model Tokenizers Introduce Unfairness Between Languages [98.92630681729518]
  トークン化段階では,モデルが呼び出される直前に,異なる言語に対する扱いの相違が生じることを示す。 文字レベルとバイトレベルのモデルも、いくつかの言語ペアの符号化長の4倍以上の差を示している。 我々は、多言語で公平なサブワードトークン化器を用いて、将来の言語モデルを訓練するべきだと仮定する。
  論文  参考訳（メタデータ） (2023-05-17T14:17:57Z)
• How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training? [86.48323488619629]
  トークン化学習コーパスにおいて,言語間でのデータ比が変化するにつれて,翻訳性能がどう変化するかを分析する。 言語が均等にサンプリングされる場合、比較的優れたパフォーマンスが観察されることが多いが、下流のパフォーマンスは、通常予想していたよりも、言語の不均衡に対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-29T17:50:36Z)
• Impact of Tokenization on Language Models: An Analysis for Turkish [2.4660652494309936]
  我々は、OSCARコーパスのトルコ分割におけるRoBERTa事前訓練手順を用いて、トークン化器および事前訓練中規模言語モデルを訓練する。 統計的実験により, モルフォロジーレベルのトークン化器は, 事実上のトークン化器で高い性能を示した。 語彙サイズを増大させることで,デファクトトークン化よりも形態素およびワードレベルのトークン化器の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2022-04-19T12:01:46Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。