論文の概要: Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding

• arxiv url: http://arxiv.org/abs/2608.00837v1
• Date: Sat, 01 Aug 2026 19:34:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.954627
• Title: Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding
• Title（参考訳）: Pruned BPE: バイトペアエンコーディングのためのトレーニング後可視プルーニングとToken Reallocation
• Abstract要約: Pruned BPEは、マージ構築とモデル可視語彙選択を分離する、訓練後の可視的およびトークン-再配置法である。 実験の結果,Pruned BPEは,同一トレーニングコーパス,評価コーパス,モデル可視語彙サイズにおいて,標準BPEと比較してエンコード長を一貫して減少させることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Byte Pair Encoding (BPE) is widely used for subword tokenization, but standard BPE exposes every learned merge token to the downstream model, including tokens that mainly serve as intermediate construction units and rarely appear in the final encoded corpus. This paper proposes Pruned BPE, a post-training visibility-pruning and token-reallocation method that separates merge construction from model-visible vocabulary selection. After standard BPE training, tokens are evaluated by final exposure. Low-exposure tokens are retained as internal-only merge nodes, while their visible vocabulary slots are reassigned to better-exposed candidates learned through resumed training. During encoding, internal-only tokens are recursively expanded into visible descendants while the original BPE merge order is preserved. Experiments on two non-overlapping English- and Chinese-dominated corpora and their combination show that Pruned BPE consistently reduces encoded length relative to Standard BPE at the same training corpus, evaluation corpus, and model-visible vocabulary size. At a 40\% exposure threshold, the reduction is approximately 0.27\%--0.36\% on same-corpus evaluations. In a vocabulary-only evaluation using a shared exact minimum-token dynamic-programming encoder, Pruned BPE retains an advantage of approximately 0.23\%--0.31\%, indicating that the improvement arises from a more efficient visible vocabulary. These gains represent a meaningful fraction of the approximately 1.5\%--3.8\% marginal reduction that would otherwise require adding another 2K Standard BPE tokens. Qualitative analysis shows that internal-only tokens include reusable English fragments, Chinese components, partial UTF-8 byte sequences, and structured-text fragments. The results indicate that post-training visibility pruning can improve BPE vocabulary efficiency without increasing the vocabulary exposed to the language model.
• Abstract（参考訳）: Byte Pair Encoding (BPE) はサブワードのトークン化に広く使われているが、標準のBPEは、学習したマージトークンを全て下流モデルに公開し、中間構成単位として機能し、最終符号化コーパスにはほとんど現れないトークンを含む。 本稿では, モデル可視語彙選択からマージ構成を分離する, 学習後可視化およびトークン再配置法であるPruned BPEを提案する。 標準的なBPEトレーニングの後、トークンは最終露出によって評価される。 低露光トークンは内部のみのマージノードとして保持され、可視語彙スロットは再開トレーニングを通じて学習されたより良い露光候補に割り当てられる。 エンコーディング中、内部のみのトークンは可視子孫に再帰的に拡張され、元のBPEマージオーダーは保存される。 2つの重なりのない英語と中国語が支配するコーパスとそれらの組み合わせの実験により、Pruned BPEは、同じトレーニングコーパス、評価コーパス、モデル可視語彙サイズにおいて、標準BPEと比較してエンコード長を一貫して減少させることが示された。 40 %の露光閾値では、同じコーパス評価において約 0.27 %--0.36 % となる。 共有された最小値の動的プログラムエンコーダを用いた語彙のみの評価において、Pruned BPEは、約0.23\%--0.31\%の利点を保ち、改善がより効率的な可視的な語彙から生じることを示す。これらの利得は、他の2K標準BPEトークンの追加を必要とする約1.5\%--3.8\%の限界縮小の有意な割合を表す。 定性的分析により、内部のみのトークンには、再利用可能な英語の断片、中国語の構成要素、部分的なUTF-8バイトシーケンス、構造化テキストの断片が含まれることが示された。 その結果,学習後可視プルーニングは,言語モデルに露出する語彙を増大させることなく,BPE語彙の効率を向上させることができた。

関連論文リスト

• Dynamic-Programming-Guided Hierarchical BPE and Empirical Analysis of Vocabulary Pruning [0.0]
  本稿では,BPEトレーニングによって引き起こされる階層的依存関係と,最小限のセグメンテーションの下でのトークン露光を組み合わせた語彙構成法を提案する。 DH-BPEは、標準BPE、Pruned BPE、MinGramの集合圧縮を、最小限の共有DPエンコーダで一貫して改善することを示す。
  論文  参考訳（メタデータ） (2026-09-07T00:50:08Z)
• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization [53.22544362024936]
  トークン化は、ほとんどのNLPパイプラインの最初の、そして最も精査されていないステップである。 トークンの学習のための標準的なアルゴリズムは、周波数ベースの目的に依存している。 本稿ではParity-aware Byte Pairを紹介する。 私たちは、パリティを意識したBPEが言語間でより公平なトークン数をもたらすことを実証的に見出した。
  論文  参考訳（メタデータ） (2025-08-06T18:14:43Z)
• MorphTok: Morphologically Grounded Tokenization for Indian Languages [18.594241501479747]
  トークン化は、特に大規模言語モデル(LLM)の台頭において、NLPにおいて重要なステップである。 古典的Byte-pairを適用する前に, 形態素認識のセグメンテーションを事前学習のステップとして提案する。 音節ベースの書記システムに共通する係り受け母音を扱うために,制約付きBPE(CBPE)を提案する。 CBPEは従属母音を扱い、単一の単位として発生するのではなく、他の文字との結合単位を形成する。
  論文  参考訳（メタデータ） (2025-04-14T15:44:45Z)
• SuperBPE: Space Travel for Language Models [103.09169510391972]
  我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。 SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。 我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-03-17T17:53:23Z)
• Adaptive BPE Tokenization for Enhanced Vocabulary Adaptation in Finetuning Pretrained Language Models [26.442558912559658]
  Byte-Pair を用いた語彙適応手法の基本的な限界を示す。 (BPE)エキスパートドメインへの微調整事前学習言語モデル(PLM)のトークン化方式。 本稿では,BPEのトークン化フェーズが変更され,文字レベルでのトークン化の前に,付加(ターゲット)語彙上で最も長い文字列マッチングが実行されるAdaptBPEを提案する。
  論文  参考訳（メタデータ） (2024-10-04T09:24:55Z)
• BPE Gets Picky: Efficient Vocabulary Refinement During Tokenizer Training [8.012203293561196]
  Picky BPE(ピッキー・BPE)は、トークンーザのトレーニング中に語彙の洗練を行う改良型BPEアルゴリズムである。 本手法は語彙効率を向上し,未学習のトークンを排除し,テキスト圧縮を損なわない。
  論文  参考訳（メタデータ） (2024-09-06T20:12:34Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal [58.29382184006158]
  そこで本研究では,パラメータフリー,計算ライト,実装容易な修正による動的足場トークン除去機構を組み込んだScaffold-BPEを提案する。 言語モデリングや機械翻訳の広範な実験において、Scaffold-BPEはオリジナルのBPEよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-04-27T07:12:07Z)
• Tokenization Is More Than Compression [14.939912120571728]
  Byte-Pairのような既存のトークン化アプローチ。 (BPE)はデータ圧縮の分野に由来する。 PathPieceは、文書のテキストを与えられた語彙に対して最小のトークン数に分割する新しいトークンライザである。
  論文  参考訳（メタデータ） (2024-02-28T14:52:15Z)
• Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation [80.38621085548013]
  本稿では,文をサブワード単位にトークン化するための新しいセグメンテーションアルゴリズムである動的プログラミング(DPE)を提案する。 ターゲットセグメンテーションを見つけるために、正確なログ境界推定と正確なMAP推定を可能にする混合文字サブワード変換器を提案する。
  論文  参考訳（メタデータ） (2020-05-03T05:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。