論文の概要: Language Models are not Equally Robust to Non-Canonical Tokenization across Languages
- arxiv url: http://arxiv.org/abs/2607.26831v1
- Date: Wed, 29 Jul 2026 12:23:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.662535
- Title: Language Models are not Equally Robust to Non-Canonical Tokenization across Languages
- Title（参考訳）: 言語モデルは、言語間の非カノニカルなトークン化に等しくロバストではない
- Abstract要約: 多様な言語にまたがる非標準トークン化下での言語モデルの振る舞いについて検討する。
トークン化の堅牢性は言語モデルの普遍的な特性ではなく、言語とトークン化との相互作用に強く依存していることを示す。
- 参考スコア（独自算出の注目度）: 29.183380954421242
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Despite the existence of exponentially many valid tokenizations for a given string, language models operate on a single canonical sequence deterministically produced by the tokenizer, leaving the broader tokenization space largely uncharacterized. In this paper, we investigate this overlooked space by studying the behavior of language models under non-canonical tokenizations across diverse languages. For English, prior work shows that models are largely invariant to alternative tokenizations that represent the same underlying string. We ask whether this invariance generalizes to other languages beyond English. We conduct a multilingual study across 27 languages spanning diverse scripts and evaluate LLM behavior under alternative tokenizations across six downstream tasks. We find that tokenization invariance does not generalize: model behavior varies substantially across languages with instruction-tuned models exhibiting an average relative performance drop of 23.7% for Llama-3.1-8B, 11.4% for Qwen3-8B, and 9.9% for Gemma-3-12B. The variation of tokenization invariance is systematic across languages. Languages that exhibit higher token fragmentation show significantly greater sensitivity to non-canonical tokenizations. Our study of tokenization robustness serves as a diagnostic of how tightly a model is coupled to its tokenizer. These results demonstrate that tokenization robustness is not a universal property of language models, but depends strongly on the language and its interaction with the tokenizer. We also show that LoRA fine-tuning with multi-tokenization training data provides an effective mitigation for tokenization sensitivity. Fine-tuning on English alone improves tokenization robustness across languages, while systematically sampling diverse non-canonical tokenizations achieves the strongest overall performance.
- Abstract（参考訳）: 与えられた文字列に対して指数関数的に多くの有効なトークン化が存在するにもかかわらず、言語モデルはトークン化器によって決定的に生成される単一の正準列で機能し、より広いトークン化空間は大部分が文字化されていない。
本稿では,多言語間における非標準トークン化の下での言語モデルの振る舞いを考察することにより,この見落としの空間を考察する。
英語では、先行研究は、モデルが、同じ基底文字列を表す代替トークン化とほとんど不変であることを示している。
この不変性が英語以外の言語に一般化するかどうかを問う。
多様なスクリプトにまたがる27言語を対象に多言語調査を行い、6つの下流タスクにまたがる代替トークン化の下でLLMの挙動を評価する。
Llama-3.1-8Bの平均相対的な性能低下は23.7%、Qwen3-8Bは11.4%、Gemma-3-12Bは9.9%である。
トークン化不変性のバリエーションは言語間で体系的である。
高いトークン断片化を示す言語は、非標準トークン化に対する感度が著しく高くなる。
トークン化の堅牢性に関する我々の研究は、モデルがトークン化剤にどれだけ密結合しているかの診断に役立ちます。
これらの結果は、トークン化の堅牢性は言語モデルの普遍的な性質ではなく、言語とトークン化子との相互作用に強く依存していることを示している。
また,マルチトークン化学習データを用いたLoRA微調整は,トークン化感度を効果的に緩和することを示した。
英語のみを微調整することで、言語間のトークン化の堅牢性が向上する一方、多種多様な非標準トークン化を体系的にサンプリングすることで、全体的なパフォーマンスが最も高い。
関連論文リスト
- What Tokens are Learned when Tokenization is Optimized Jointly with Language Modeling? [1.3177681589844814]
トークン化は、言語モデリングパイプラインの基本コンポーネントである。
本研究では,トークン化が言語モデリングと協調的に最適化されるときに,トークンがどのように学習されるかを分析する。
SSLMsやH-Netsのようなトークンフリーな手法と18のタイプとスクリプトの多言語間の固定トークン化手法を比較した。
論文 参考訳（メタデータ） (2026-08-18T03:34:56Z) - Tokenizing Crosslingual Homographs [8.254230288283258]
多言語言語モデルは、限られた数のトークン単位内で複数の言語を表現するために、共有サブワード語彙に依存している。
我々はこの制限を言語間ホモグラフと偽の友人を通して検討する。
そこで本稿では,共有語彙単語の初期文字を置き換える言語固有の文字を用いた,単純なトークン化レベル介入を提案する。
論文 参考訳（メタデータ） (2026-07-20T08:37:31Z) - Soft Token Alignment for Cross-Lingual Reasoning [31.882767320907572]
SOLARは教師付き微調整のための補助的目的であり、言語間でソフトトケン表現を整列させる。
次に、共有埋め込み空間において、各非英語のソフトトーケン要約を英語のそれと一致させる。
SOLARの精度はベースモデルで+17.7ポイント、標準教師付き微調整で+3.8ポイント向上している。
論文 参考訳（メタデータ） (2026-06-25T00:01:58Z) - Training Language Models with homotokens Leads to Delayed Overfitting [2.531076482407163]
サブワードトークン化は、多くの異なるトークンシーケンスが同じ表面形式にデコードされ、意味を保存する言語モデルにおける計算層を導入している。
我々は、データ拡張の厳密な意味保存形式として、ホモトケンを定式化する。
データ制約付き事前トレーニングでは、ホモトケン強化は繰り返しデータ露光下でのオーバーフィッティングを継続的に遅らせる。
多言語微調整では、ホモトケンの有効性はトークン化器の品質に依存する。
論文 参考訳（メタデータ） (2026-01-06T09:57:00Z) - False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models [53.01170039144264]
多言語コーパスで訓練されたサブワードトークンライザは、言語間で重複するトークンを自然に生成する。
トークンの重複は言語間転送を促進するのか、それとも言語間の干渉を導入するのか?
相反する語彙を持つモデルでは、重なり合う結果が得られます。
論文 参考訳（メタデータ） (2025-09-23T07:47:54Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳（メタデータ） (2025-06-23T18:02:26Z) - The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。
学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。
分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
論文 参考訳（メタデータ） (2024-04-11T17:58:05Z) - Different Tokenization Schemes Lead to Comparable Performance in Spanish Number Agreement [5.223020867766102]
異なるトークン化方式がスペイン語の複数形の数字合意にどのように影響するかを検討する。
形態的に整列したトークン化は他のトークン化方式と同様に機能する。
以上の結果から,形態的トークン化は性能に厳密には要求されないことが示唆された。
論文 参考訳（メタデータ） (2024-03-20T17:01:56Z) - Language Model Tokenizers Introduce Unfairness Between Languages [98.92630681729518]
トークン化段階では,モデルが呼び出される直前に,異なる言語に対する扱いの相違が生じることを示す。
文字レベルとバイトレベルのモデルも、いくつかの言語ペアの符号化長の4倍以上の差を示している。
我々は、多言語で公平なサブワードトークン化器を用いて、将来の言語モデルを訓練するべきだと仮定する。
論文 参考訳（メタデータ） (2023-05-17T14:17:57Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。
i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
論文 参考訳（メタデータ） (2020-08-20T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。