論文の概要: Writing-System-Level Tokenizer Adaptation for Byte-Level BPE

• arxiv url: http://arxiv.org/abs/2608.00582v1
• Date: Sat, 01 Aug 2026 10:38:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.785882
• Title: Writing-System-Level Tokenizer Adaptation for Byte-Level BPE
• Title（参考訳）: バイトレベルBPEのための書込みシステムレベルトケナイザ適応
• Abstract要約: 事前訓練されたバイトレベルのBPEトークンーザは、非表現言語を非効率に分割することができる。 トークン化器の置き換えは、ほぼすべてのトークンIDの意味を変え、語彙拡張はモデルの埋め込みおよび出力行列を拡大する。 モデル語彙のサイズを一定に保ち、既存のトークンからIDへの割り当てを多く保持するポストホック適応について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained byte-level BPE tokenizers can segment underrepresented languages inefficiently. Replacing a tokenizer changes the meaning of nearly every token ID, while vocabulary expansion enlarges the model's embedding and output matrices. We study post-hoc adaptation that keeps the model-vocabulary size fixed and preserves most existing token-to-ID assignments as a construction-time compatibility property. Directly transferring tokens from a language-specific tokenizer does not guarantee derivability through the target BPE merge graph: an inserted entry can conflict with the target's greedy merge ranks. We formalize this failure as the merge ordering problem and introduce BPE-guided insertion, which builds each transferred token through a target-reachable decomposition. Our pipeline uses script-aware row selection to limit collateral fragmentation, reconstructs target-script byte-level prerequisites, and applies guided insertion to maintain merge-graph reachability. On Ukrainian adaptations of Nemotron and GPT-OSS, it reduces token counts by 33.5% and 36.6%, keeps changes on English and the evaluated four-language European aggregate within 0.05%, and retains 78.5%/77.3% of original model-vocabulary rows at the same IDs. Constraint-matched global and frequency-based removal achieve similar Ukrainian compression but increase English/European token counts by 0.7-2.2%; fresh same-size retraining compresses Ukrainian slightly more but retains effectively no same-ID rows and increases English token counts by 7.6-8.6%. The reallocation increases token counts on the evaluated three-language Cyrillic micro-aggregate by 6.7%/10.1%. Structural audits find all 28,134/45,398 inserted BPE nodes reachable under ordinary rank-ordered merging and no retained same-ID model-vocabulary entry newly broken. We release all tokenizers and code.
• Abstract（参考訳）: 事前訓練されたバイトレベルのBPEトークンーザは、非表現言語を非効率に分割することができる。 トークン化器の置き換えは、ほぼすべてのトークンIDの意味を変え、語彙拡張はモデルの埋め込みおよび出力行列を拡大する。 モデル語彙のサイズを一定に保つポストホック適応について検討し,既存のトークンとIDの割り当てを構築時互換性特性として保存する。 言語固有のトークン化器から直接トークンを転送することは、ターゲットのBPEマージグラフを通じて導出性を保証するものではない。 我々は、この障害をマージ順序付け問題として形式化し、BPE誘導挿入を導入し、ターゲット到達可能な分解によって各転送トークンを構築する。 我々のパイプラインは、スクリプト対応の行選択を使用して、余分な断片化を制限し、ターゲット-スクリプトのバイトレベルの前提条件を再構築し、マージグラフの到達性を維持するためのガイド付き挿入を適用します。 ウクライナのNemotronとGPT-OSSの適応では、トークン数を33.5%と36.6%に減らし、英語と評価された4言語欧州の集合体を0.05%に維持し、オリジナルのモデル語彙行の78.5%/77.3%を同じIDに保持している。 制約付きグローバルおよび周波数ベースの除去は、同様のウクライナの圧縮を実現するが、英語/欧州のトークン数は0.7-2.2%増加し、新しい同サイズのリトレーニング圧縮はウクライナの圧縮をわずかに増加させるが、事実上同じID行は保持せず、英語のトークン数は7.6-8.6%増加している。 この再配置は、評価された3言語のキリルマイクロアグリゲートのトークン数を6.7%/10.1%増加させる。 構造監査では28,134/45,398個の挿入されたBPEノードが、通常のランク付けされたマージの下で到達可能であり、保持された同IDモデル語彙のエントリは新たに壊れていない。 すべてのトークンとコードをリリースします。

関連論文リスト

• Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding [0.0]
  Pruned BPEは、マージ構築とモデル可視語彙選択を分離する、訓練後の可視的およびトークン-再配置法である。 実験の結果,Pruned BPEは,同一トレーニングコーパス,評価コーパス,モデル可視語彙サイズにおいて,標準BPEと比較してエンコード長を一貫して減少させることがわかった。
  論文  参考訳（メタデータ） (2026-08-01T19:34:44Z)
• In-Place Tokenizer Expansion for Pre-trained LLMs [47.56305202796458]
  モデルプロデューサが設計を制御する際に、事前訓練されたモデルのトークン化器をアップグレードするためのインプレースレシピを提案する。 2段階の適応、埋め込みのみのトレーニング、それからフルモデルの事前トレーニングが継続され、ソースチェックポイントの品質が回復する。 拡張されたトークンライザは、ヒンディー語とベトナム語を約2.4タイム、および2.6タイムでエンコードする。
  論文  参考訳（メタデータ） (2026-07-16T17:32:38Z)
• GRID: Grammar-Railed Decoding for Enterprise SQL Generation [0.0]
  文法制約付き復号エンジンGRID(Grammar-Railed Decoding)を提案する。 LALR(1)自体を実行可能なオラクルとして使用する。 4つの保証(音量、完全性、終了、およびほぼ一定に近いコスト)は明示的な前提条件で記述される。
  論文  参考訳（メタデータ） (2026-07-11T19:25:23Z)
• Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation [0.0]
  文の埋め込みはセマンティック検索、クラスタリング、分類、検索強化生成のための基礎的なコンポーネントである。 本稿では,768次元のL2正規化ベクトルを生成するトルコの文埋め込みモデルであるembeddingmagibu-200mについて述べる。
  論文  参考訳（メタデータ） (2026-05-28T14:24:50Z)
• Compute Optimal Tokenization [79.3815358070537]
  圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。 所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。 実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
  論文  参考訳（メタデータ） (2026-05-02T01:53:22Z)
• Separate Before You Compress: The WWHO Tokenization Architecture [0.0]
  現在のLarge Language Models (LLM) は、主にBPE(Byte Pair Linguist)ベースのトークンライザを使用している。 WWHO(Where-What-How)とSGPE(Syllable Grapheme Pair Linguist)というアルゴリズムを提案する。 Sinhala と Devanagari (Hindi/Sanskrit) を非常に複雑な Abugida スクリプトとして使用し、クリーン化された30万文データセットで WWHO をトレーニングし、1,499,950文のテストセットで評価した。
  論文  参考訳（メタデータ） (2026-03-26T10:56:48Z)
• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• Tokens with Meaning: A Hybrid Tokenization Approach for NLP [0.2826977330147589]
  自然言語処理(NLP)におけるトークン化の役割 規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。 本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2025-08-19T22:17:42Z)
• Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization [53.22544362024936]
  トークン化は、ほとんどのNLPパイプラインの最初の、そして最も精査されていないステップである。 トークンの学習のための標準的なアルゴリズムは、周波数ベースの目的に依存している。 本稿ではParity-aware Byte Pairを紹介する。 私たちは、パリティを意識したBPEが言語間でより公平なトークン数をもたらすことを実証的に見出した。
  論文  参考訳（メタデータ） (2025-08-06T18:14:43Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Incorporating BERT into Parallel Sequence Decoding with Adapters [82.65608966202396]
  本稿では,2種類のBERTモデルをエンコーダとデコーダとして取り出し,シンプルで軽量なアダプタモジュールを導入し,それらを微調整する。 我々は、ソース側およびターゲット側BERTモデルに含まれる情報を協調的に活用できるフレキシブルで効率的なモデルを得る。 我々のフレームワークは、BERTの双方向および条件独立性を考慮した、Mask-Predictという並列シーケンス復号アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2020-10-13T03:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。