論文の概要: Fewer Words, Not Fewer Tokens: Measuring the Sanskrit Tokenization Penalty per Proposition
- arxiv url: http://arxiv.org/abs/2609.12960v1
- Date: Fri, 11 Sep 2026 15:19:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.794455
- Title: Fewer Words, Not Fewer Tokens: Measuring the Sanskrit Tokenization Penalty per Proposition
- Title（参考訳）: 単語が少なく, トークンが少ない: 命題ごとのサンスクリットトークン化の罰則を測る
- Abstract要約: 同一のFLORES-200デベストコンテントでは、サンスクリットは、200,019 id以上の語彙を持つデプロイトークン化業者の英語トークンの1.774-2.187倍の費用をかかるが、ヒンディー語トークンの1.325-1.353倍にしかならない。
サンスクリットで訓練されたBPEの武器は、イギリスの同時代の散文(0.887)よりも安価に見える。
32,000点と64,000点の計8組が一致し、各サイズの整合アームは、一対の整合制御とバイト整合制御の両方に対して、95%間隔の散文で1.0より上に位置する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sanskrit fuses case, number, person and tense into word endings and chains clauses into compounds, so it is information-dense per word. Whether that density survives subword tokenization is a separate question, to be asked per unit of meaning rather than per word. On identical FLORES-200 devtest content, Sanskrit costs 1.774-2.187 times the English tokens under deployed tokenizers with vocabularies of 200,019 ids or more, but only 1.325-1.353 times the Hindi tokens. Against a deployed English tokenizer, Sanskrit-trained BPE arms then look cheaper per proposition than English on contemporary prose (0.887). Against a matched English control, the same algorithm and vocabulary trained on the English side of the same corpus, that flip disappears: at 32,000 and 64,000 pieces all 8 matched pairs, each size-matched arm against both a pair-matched and a byte-matched control, sit above 1.0 on prose with 95% intervals excluding it. The gap closes as the vocabulary grows: at 128,000 pieces the BPE pair reads 0.983 in domain while staying above parity out of domain (1.025) and on FLORES (1.116). The ratio factorises into a character-length ratio and a tokens-per-character ratio, the second near 1 throughout: what survives matched tokenization is character-level length, which Sanskrit prose lacks over English in SLP1 (1.028) and Sanskrit verse has (0.596). The robust statement is about deployed practice: on contemporary prose and on FLORES, with the Sanskrit side in SLP1 against the deployed o200k English pivot, Sanskrit costs 1.831-2.899 English tokens per proposition under the tokenizers people actually ship. Code, the results snapshot and every table here are public.
- Abstract（参考訳）: サンスクリットは格、数、人、時制を語尾と鎖の節に融合させるので、1語あたりの情報量である。
その密度がサブワードのトークン化を生き残るかどうかは、単語ごとではなく、意味の単位ごとに問うべき別の問題である。
同一のFLORES-200デベストコンテントでは、サンスクリットは、200,019 id以上の語彙を持つデプロイトークン化業者の英語トークンの1.774-2.187倍の費用をかかるが、ヒンディー語トークンの1.325-1.353倍にしかならない。
サンスクリットで訓練されたBPEの武器は、イギリスの同時代の散文(0.887)よりも安価に見える。
マッチした英語コントロールに対して、同じコーパスの英語側で訓練された同じアルゴリズムと語彙は、フリップが消える: 32,000ピースと64,000ピースの全てのマッチした8つのペアにおいて、各サイズマッチングされたアームがペアマッチングとバイトマッチングの両方と対戦し、95%間隔の散文で1.0以上座る。
128,000ピースのBPEペアは、ドメイン外(1.025)とFLORES(1.116)のパリティを保ちながら、ドメイン内の0.983を読み取る。
サンスクリットの散文はSLP1(1.028)では英語に欠けており、サンスクリットの詩は0.596(0.596)である。
SLP1 のサンスクリット側が配備された o200k のイングリッシュピボットに対して、サンスクリット側は実際に出荷されるトークン発行者の下で、1プロポーズ当たり 1.831-2.899 のイングリッシュトークンを支払う。
コード、結果のスナップショット、すべてのテーブルは公開されています。
関連論文リスト
- Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility [0.0]
バグダスクリプトでは、母音は結合マークとして書かれており、このパターンは各母音記号でそれぞれの単語を分割する。
BPEはプレトーケン内でのみマージするため、これらの分割は語彙サイズやコーパス構成に関係なくトレーニングを通じて持続する。
平行コーパスから26の言語にまたがって、17のバグダのうち1つが影響を受けており、それらは1.47倍(チベット語)から9.02倍(タイ語)まで様々である。
5つの言語では、この文字クラスでのみ異なる一致するトークン化器ペアが予測フロアの2.2%以内に落ち、ネパール語では1語当たりのトークンが4.78、ネパール語では1.58である。
論文 参考訳（メタデータ） (2026-08-26T22:56:24Z) - The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages [0.0]
大きな言語モデル(LLM)は文字や単語を直接読み込むのではなく、サブワードトークンによってテキストを処理する。
FLORES-200並列コーパスを用いて,インド語のトークン化税の定量化を行う。
固定された文脈予算の下では、インド英語の文書は同等の英語の文書よりも原文をほとんど保存していないことを示す。
論文 参考訳（メタデータ） (2026-07-27T11:20:29Z) - BrahmicTokenizer-131K: An Indic-Capable Drop-In Replacement for o200k_base [0.0]
BrahmicTokenizer-131Kは131,072バイトレベルのBPEトークンである。
131K語彙クラスのブラフミック圧縮ギャップを閉じる。
OpenAIのo200k_baseの英語、EU言語、コード圧縮を保存する。
論文 参考訳（メタデータ） (2026-05-28T05:29:12Z) - Separate Before You Compress: The WWHO Tokenization Architecture [0.0]
現在のLarge Language Models (LLM) は、主にBPE(Byte Pair Linguist)ベースのトークンライザを使用している。
WWHO(Where-What-How)とSGPE(Syllable Grapheme Pair Linguist)というアルゴリズムを提案する。
Sinhala と Devanagari (Hindi/Sanskrit) を非常に複雑な Abugida スクリプトとして使用し、クリーン化された30万文データセットで WWHO をトレーニングし、1,499,950文のテストセットで評価した。
論文 参考訳（メタデータ） (2026-03-26T10:56:48Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - Is Sanskrit the most token-efficient language? A quantitative study using GPT, Gemini, and SentencePiece [0.0]
サンスクリットは、その形態と文法規則のために、トークンごとにより意味を表現していると仮定されている。
我々は、サンスクリット語、英語、ヒンディー語という3つの言語からなるBhagavad Gitaの701のパラレルバースのデータセットを使用している。
我々は、SPM(SentencePiece)、古いGPTモデル、およびGeminiおよびGPTの次世代トークン化器を試験する。
論文 参考訳（メタデータ） (2026-01-05T15:23:50Z) - False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models [53.01170039144264]
多言語コーパスで訓練されたサブワードトークンライザは、言語間で重複するトークンを自然に生成する。
トークンの重複は言語間転送を促進するのか、それとも言語間の干渉を導入するのか?
相反する語彙を持つモデルでは、重なり合う結果が得られます。
論文 参考訳（メタデータ） (2025-09-23T07:47:54Z) - Beyond Literal Token Overlap: Token Alignability for Multilinguality [53.680462160878925]
我々は,多言語トークン化の効果と品質を理解する新しい方法として,サブワードトークン整合性を提案する。
特に、この指標は、スクリプトが異なっており、リテラルトークンの重複が低い場合、多言語性を予測する。
言語間移動のための最適な言語ペアを特定するために,我々のサブワードトークン整合性指標を推奨する。
論文 参考訳（メタデータ） (2025-02-10T13:50:12Z) - Translate to Disambiguate: Zero-shot Multilingual Word Sense
Disambiguation with Pretrained Language Models [67.19567060894563]
事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。
C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。
モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
論文 参考訳（メタデータ） (2023-04-26T19:55:52Z) - Phonotactic Complexity and its Trade-offs [73.10961848460613]
この単純な測度により、言語間のエントロピーを比較することができる。
音素あたりのビット数と単語の平均長との間には-0.74の非常に強い負の相関関係を示す。
論文 参考訳（メタデータ） (2020-05-07T21:36:59Z) - Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。
提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。
また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
論文 参考訳（メタデータ） (2019-12-28T16:18:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。