論文の概要: Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models

• arxiv url: http://arxiv.org/abs/2606.15044v1
• Date: Sat, 13 Jun 2026 01:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.666427
• Title: Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models
• Title（参考訳）: 効率性のあるエクイティ:多言語大言語モデルのためのトケナイザの実証的研究
• Authors: Kieron Seven Jun Wei Lee, Muhammad Reza Qorib, Andrew Ivan Soegeng, Hwee Tou Ng,
• Abstract要約: バイトレベルのByte-Pairトークンは、構造的に高ソース言語とラテン文字を好んでいる。 表現不足の言語話者にとって、このバイアスは推論コストを膨らませ、言語間能力ギャップを拡大する。 東南アジアの11言語にまたがるベンチマークにおいて, 等価なトークン化剤の最初の体系的比較を行った。
• 参考スコア（独自算出の注目度）: 30.7730386396743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual large language models (LLMs) depend on subword tokenization to bridge discrete text and continuous neural representation. State-of-the-art multilingual LLMs often use Byte-level Byte-Pair Encoding (BPE) tokenizers that structurally favor high-resource languages and Latin scripts. For speakers of underrepresented languages, particularly those across Southeast Asia, this bias inflates inference costs and widens cross-lingual capability gaps. We present the first systematic comparison of equitable tokenizers on a unified benchmark spanning 11 Southeast Asian languages. Beyond tokenizer-level analysis of compression efficiency and cross-lingual equity, we assess downstream task performance through controlled 1.5B-parameter language model training using the same training data. Our results show that Parity-aware BPE lies on the Pareto frontier of the efficiency-equity trade-off, achieving strong compression parity at competitive cost. Morphology-Driven Byte Encoding delivers the best semantic reasoning performance through morphologically richer representations, albeit at a higher computational expense. Byte Latent Transformer underperforms on downstream tasks, possibly because its architectural assumptions misalign with the constraints of limited low-resource training data. Together, our findings demonstrate that cross-lingual fairness and tokenization efficiency are not fundamentally at odds, and offer practical guidance for designing equitable multilingual models.
• Abstract（参考訳）: 多言語大言語モデル(LLM)は、個別のテキストと連続的なニューラル表現をブリッジするためにサブワードトークン化に依存する。 最先端の多言語 LLM では、バイトコードレベルのByte-Pair Encoding (BPE) トークンをしばしば使用し、高ソース言語やラテン文字を構造的に好んでいる。 表現不足言語、特に東南アジアの話者にとって、このバイアスは推論コストを膨らませ、言語間の能力ギャップを広げる。 東南アジアの11言語にまたがる統一ベンチマークにおいて, 等価なトークン化器の最初の体系的比較を行った。 圧縮効率と言語間エクイティのトークン化レベル解析の他に、同じトレーニングデータを用いて1.5Bパラメータ言語モデルトレーニングによる下流タスク性能の評価を行う。 この結果から,Parity-Aware BPEは効率・等価トレードオフのParetoフロンティアにあり,競争コストで強い圧縮パリティを実現することが示唆された。 形態素駆動バイトコード符号化は、計算コストが高いにもかかわらず、形態素的にリッチな表現を通して最高の意味論的推論性能を提供する。 Byte Latent Transformerは、おそらくアーキテクチャ上の仮定が、限られた低リソースのトレーニングデータの制約と誤っているため、ダウンストリームタスクでパフォーマンスが低い。 この結果から,言語間の公平性やトークン化効率は基本的に不一致ではなく,等価な多言語モデルを設計するための実践的なガイダンスが得られた。

関連論文リスト

• Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation [49.82863380286994]
  In-context Learningは、低リソース機械翻訳にLarge Language Modelsを適用する新しい方法を提供するかもしれない。 本研究では,Long-context モデルを用いた数千例のサンプルに対して,数ショット設定以上の低リソース機械翻訳ICLのスケーリングについて検討する。 JavaneseとSundaneseに関する我々の実験は、追加のコンテキストからのゲインがすばやく飽和し、最大コンテキストウィンドウの近くで分解可能であることを示している。
  論文  参考訳（メタデータ） (2026-02-04T17:02:22Z)
• Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization [53.22544362024936]
  トークン化は、ほとんどのNLPパイプラインの最初の、そして最も精査されていないステップである。 トークンの学習のための標準的なアルゴリズムは、周波数ベースの目的に依存している。 本稿ではParity-aware Byte Pairを紹介する。 私たちは、パリティを意識したBPEが言語間でより公平なトークン数をもたらすことを実証的に見出した。
  論文  参考訳（メタデータ） (2025-08-06T18:14:43Z)
• When Every Token Counts: Optimal Segmentation for Low-Resource Language Models [0.0]
  最適Byte-Pair(BPE)構成は,グリーディセグメンテーションに比べてトークン数を大幅に削減することを示す。 この結果から,圧縮最適化トークン化戦略が多言語および低リソース言語アプリケーションに多大なメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-09T19:11:54Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。