論文の概要: Latent Core Tokenizer: Compress, but Meaningfully

• arxiv url: http://arxiv.org/abs/2610.12376v2
• Date: Sat, 10 Oct 2026 15:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.849345
• Title: Latent Core Tokenizer: Compress, but Meaningfully
• Title（参考訳）: Latent Core Tokenizer: Compress
• Abstract要約: 言語に依存しない手法であるLatent Core Tokenizer (LCT)を導入し,構造的発見と語彙的構築を分離する。 200Kの語彙を持つ104言語にまたがって、LCTはBPE、Unigram、パリティを意識したBPEよりも低い出生率とMorphScoreを達成する。 本研究は, 圧縮だけでは表現品質を予測せず, 形態学的構造発見の重要性を強調していることを示す。
• 参考スコア（独自算出の注目度）: 4.401611310469895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tokenizers are commonly optimized for compression, but a compact vocabulary does not necessarily distribute its capacity evenly across languages. We introduce the Latent Core Tokenizer (LCT), a language-agnostic approach that separates structural discovery from vocabulary construction. LCT uses Minimum Description Length, entropy-based boundary signals, and morphotactic constraints to identify reusable linguistic units before constructing a shared vocabulary. Across 104 languages with a 200K-token vocabulary, LCT achieves lower fertility and higher MorphScore than BPE, Unigram, and parity-aware BPE, while maintaining comparable cross-lingual disparity in tokenization cost. Across four multilingual downstream benchmarks, LCT improves aggregate score by 1.48, 1.83, and 2.00 points over BPE, Unigram, and parity-aware BPE, respectively. Our findings show that compression alone does not predict representation quality and highlight the importance of morphology-driven structural discovery and how frequency is used to allocate the final vocabulary across languages.
• Abstract（参考訳）: トケナイザーは圧縮に最適化されるが、コンパクトな語彙は必ずしも言語間でその容量を均等に分配するとは限らない。 言語に依存しない手法であるLatent Core Tokenizer (LCT)を導入し,構造的発見と語彙的構築を分離する。 LCTは最小記述長、エントロピーに基づく境界信号、および形態論的制約を用いて、共有語彙を構築する前に再利用可能な言語単位を識別する。 200Kの語彙を持つ104言語にまたがって、LCTはBPE、Unigram、パリティを意識したBPEよりも低い出生率とMorphScoreを実現し、トークン化コストの対等な言語間格差を維持している。 4つのマルチリンガルなダウンストリームベンチマークで、LCTはBPE、Unigram、Parity-aware BPEの合計スコアをそれぞれ1.48、1.83、2.00ポイント改善している。 その結果, 圧縮だけでは表現の質を予測せず, 形態素による構造発見の重要性と, 言語間の最終語彙の割り当ての頻度を強調できることがわかった。

関連論文リスト

• Counting and Min-Cost Encoding for Tokenization in Large Language Models [27.66376453208396]
  我々は,Counting and Filtering (CNF) とMin-Cost constructs (MCE) と呼ばれるテキスト符号化アルゴリズムを提案する。 MCEはテキストセグメント上のコスト関数を定義し、全体のセグメント化コストを世界規模で最小化することで、最適なセグメント化を決定する。 250Kの語彙により、CNF-MCEは、o200k_baseおよびqwen250kトークン化器上で、英語のWebテキスト上で圧縮率を26%、30%向上させる。
  論文  参考訳（メタデータ） (2026-10-01T06:11:38Z)
• Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding [0.0]
  Pruned BPEは、学習後の可視性とトークンの配置方法である。 マージ構造とモデル可視語彙選択を分離する。 実験により、Pruned BPEは標準BPEと比較してエンコード長を一貫して減少させることが示された。
  論文  参考訳（メタデータ） (2026-08-01T19:34:44Z)
• Significance-Gain Pair Encoding for LLMs: A Statistical Alternative to Frequency-Based Subword Merging [0.0]
  Significance-Gain BPE は、独立型ヌルモデルの下でz統計による凝集を測定する代替マージ基準である。 検証とテストの難易度をそれぞれ13%、テストの難易度を12%削減し、検証とテストのBPCを0.9～1.0%改善する。
  論文  参考訳（メタデータ） (2026-02-26T20:29:18Z)
• Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization [53.22544362024936]
  トークン化は、ほとんどのNLPパイプラインの最初の、そして最も精査されていないステップである。 トークンの学習のための標準的なアルゴリズムは、周波数ベースの目的に依存している。 本稿ではParity-aware Byte Pairを紹介する。 私たちは、パリティを意識したBPEが言語間でより公平なトークン数をもたらすことを実証的に見出した。
  論文  参考訳（メタデータ） (2025-08-06T18:14:43Z)
• MorphTok: Morphologically Grounded Tokenization for Indian Languages [18.594241501479747]
  トークン化は、特に大規模言語モデル(LLM)の台頭において、NLPにおいて重要なステップである。 古典的Byte-pairを適用する前に, 形態素認識のセグメンテーションを事前学習のステップとして提案する。 音節ベースの書記システムに共通する係り受け母音を扱うために,制約付きBPE(CBPE)を提案する。 CBPEは従属母音を扱い、単一の単位として発生するのではなく、他の文字との結合単位を形成する。
  論文  参考訳（メタデータ） (2025-04-14T15:44:45Z)
• SuperBPE: Space Travel for Language Models [103.09169510391972]
  我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。 SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。 我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-03-17T17:53:23Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。