論文の概要: Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding

• arxiv url: http://arxiv.org/abs/2608.00837v2
• Date: Tue, 04 Aug 2026 12:18:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 13:15:27.41975
• Title: Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding
• Title（参考訳）: Pruned BPE: バイトペアエンコーディングのためのトレーニング後可視プルーニングとToken Reallocation
• Authors: Kenny Shao,
• Abstract要約: Pruned BPEは、学習後の可視性とトークンの配置方法である。 マージ構造とモデル可視語彙選択を分離する。 実験により、Pruned BPEは標準BPEと比較してエンコード長を一貫して減少させることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Byte Pair Encoding (BPE) is widely used for subword tokenization, but standard BPE exposes every learned merge token to the downstream model, including tokens that mainly serve as intermediate construction units and rarely appear in the final encoded corpus. This paper proposes Pruned BPE, a post-training visibility-pruning and token-reallocation method that separates merge construction from model-visible vocabulary selection. After standard BPE training, tokens are evaluated by final exposure. Low-exposure tokens are retained as internal-only merge nodes, while their visible vocabulary slots are reassigned to better-exposed candidates learned through resumed training. During encoding, internal-only tokens are recursively expanded into visible descendants while the original BPE merge order is preserved. Experiments on two non-overlapping English- and Chinese-dominated corpora and their combination show that Pruned BPE consistently reduces encoded length relative to Standard BPE at the same training corpus, evaluation corpus, and model-visible vocabulary size. At a 40% exposure threshold, the reduction is approximately 0.27%--0.36% on same-corpus evaluations. In a vocabulary-only evaluation using a shared exact minimum-token dynamic-programming encoder, Pruned BPE retains an advantage of approximately 0.23%--0.31%, indicating that the improvement arises from a more efficient visible vocabulary. These gains represent a meaningful fraction of the approximately 1.5%--3.8% marginal reduction that would otherwise require adding another 2K Standard BPE tokens. Qualitative analysis shows that internal-only tokens include reusable English fragments, Chinese components, partial UTF-8 byte sequences, and structured-text fragments. The results indicate that post-training visibility pruning can improve BPE vocabulary efficiency without increasing the vocabulary exposed to the language model.
• Abstract（参考訳）: Byte Pair Encoding (BPE) はサブワードのトークン化に広く使われているが、標準のBPEは、学習したマージトークンを全て下流モデルに公開し、中間構成単位として機能し、最終符号化コーパスにはほとんど現れないトークンを含む。 本稿では, モデル可視語彙選択からマージ構成を分離する, 学習後可視化およびトークン再配置法であるPruned BPEを提案する。 標準的なBPEトレーニングの後、トークンは最終露出によって評価される。 低露光トークンは内部のみのマージノードとして保持され、可視語彙スロットは再開トレーニングを通じて学習されたより良い露光候補に割り当てられる。 エンコーディング中、内部のみのトークンは可視子孫に再帰的に拡張され、元のBPEマージオーダーは保存される。 2つの重なりのない英語と中国語が支配するコーパスとそれらの組み合わせの実験により、Pruned BPEは、同じトレーニングコーパス、評価コーパス、モデル可視語彙サイズにおいて、標準BPEと比較してエンコード長を一貫して減少させることが示された。 40%の被曝閾値では, 同じコーパス評価において約0.27%～0.36%の減少率を示した。 Pruned BPEは、共有された最小限の動的プログラミングエンコーダを用いた語彙のみの評価において、約0.23%--0.31%の利点を保ち、改善はより効率的な可視的な語彙から生じることを示す。これらの利得は、他の2K標準BPEトークンの追加を必要とする約1.5%--3.8%の限界縮小の有意義な部分を表している。 定性的分析により、内部のみのトークンには、再利用可能な英語の断片、中国語の構成要素、部分的なUTF-8バイトシーケンス、構造化テキストの断片が含まれることが示された。 その結果,学習後可視プルーニングは,言語モデルに露出する語彙を増大させることなく,BPE語彙の効率を向上させることができた。

関連論文リスト

• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• MorphTok: Morphologically Grounded Tokenization for Indian Languages [18.594241501479747]
  トークン化は、特に大規模言語モデル(LLM)の台頭において、NLPにおいて重要なステップである。 古典的Byte-pairを適用する前に, 形態素認識のセグメンテーションを事前学習のステップとして提案する。 音節ベースの書記システムに共通する係り受け母音を扱うために,制約付きBPE(CBPE)を提案する。 CBPEは従属母音を扱い、単一の単位として発生するのではなく、他の文字との結合単位を形成する。
  論文  参考訳（メタデータ） (2025-04-14T15:44:45Z)
• SuperBPE: Space Travel for Language Models [103.09169510391972]
  我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。 SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。 我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-03-17T17:53:23Z)
• Adaptive BPE Tokenization for Enhanced Vocabulary Adaptation in Finetuning Pretrained Language Models [26.442558912559658]
  Byte-Pair を用いた語彙適応手法の基本的な限界を示す。 (BPE)エキスパートドメインへの微調整事前学習言語モデル(PLM)のトークン化方式。 本稿では,BPEのトークン化フェーズが変更され,文字レベルでのトークン化の前に,付加(ターゲット)語彙上で最も長い文字列マッチングが実行されるAdaptBPEを提案する。
  論文  参考訳（メタデータ） (2024-10-04T09:24:55Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal [58.29382184006158]
  そこで本研究では,パラメータフリー,計算ライト,実装容易な修正による動的足場トークン除去機構を組み込んだScaffold-BPEを提案する。 言語モデリングや機械翻訳の広範な実験において、Scaffold-BPEはオリジナルのBPEよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-04-27T07:12:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。