論文の概要: From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution

• arxiv url: http://arxiv.org/abs/2604.14053v1
• Date: Wed, 15 Apr 2026 16:32:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.638186
• Title: From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution
• Title（参考訳）: 言葉の出所から:ソース属性によるコードトケナイザの効率的な正規化
• Authors: Pavel Chizhov, Egor Bogomolov, Ivan P. Yamshchikov,
• Abstract要約: 優れたトークンライザは、推論速度と言語理解を改善するだけでなく、ジェイルブレイク攻撃に対する追加の防御を提供し、幻覚のリスクを下げる。 コードトークンライザは、トレーニングデータにおけるリポジトリの不均衡と言語多様性のため、未使用で未学習のトークンを生成する傾向があることを実証する。 我々は、BPEトレーニングを標準化し、オーバーフィッティングを最小限に抑えるために、Source-Attributed BPE (SA-BPE) という名前で異なる手法を実装し、未学習トークンの数を著しく削減した。
• 参考スコア（独自算出の注目度）: 9.227702405345932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficiency and safety of Large Language Models (LLMs), among other factors, rely on the quality of tokenization. A good tokenizer not only improves inference speed and language understanding but also provides extra defense against jailbreak attacks and lowers the risk of hallucinations. In this work, we investigate the efficiency of code tokenization, in particular from the perspective of data source diversity. We demonstrate that code tokenizers are prone to producing unused, and thus under-trained, tokens due to the imbalance in repository and language diversity in the training data, as well as the dominance of source-specific, repetitive tokens that are often unusable in future inference. By modifying the BPE objective and introducing merge skipping, we implement different techniques under the name Source-Attributed BPE (SA-BPE) to regularize BPE training and minimize overfitting, thereby substantially reducing the number of under-trained tokens while maintaining the same inference procedure as with regular BPE. This provides an effective tool suitable for production use.
• Abstract（参考訳）: LLM(Large Language Models)の効率性と安全性は、トークン化の品質に依存している。 優れたトークンライザは、推論速度と言語理解を改善するだけでなく、ジェイルブレイク攻撃に対する追加の防御を提供し、幻覚のリスクを下げる。 本研究では,コードトークン化の効率,特にデータソースの多様性の観点から検討する。 コードトークンライザは、トレーニングデータにおけるリポジトリと言語の多様性の不均衡や、将来の推論では利用できないことが多いソース固有の反復トークンの優位性による、未使用で未学習のトークンを生成する傾向があることを実証する。 BPEの目標を変更し,マージスキップを導入することで,BPEトレーニングの正規化とオーバーフィッティングの最小化を図り,通常のBPEと同じ推論手順を維持しながら,未学習トークンの数を大幅に削減する。 これにより、実運用に適した効果的なツールが提供される。

関連論文リスト

• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization [53.22544362024936]
  トークン化は、ほとんどのNLPパイプラインの最初の、そして最も精査されていないステップである。 トークンの学習のための標準的なアルゴリズムは、周波数ベースの目的に依存している。 本稿ではParity-aware Byte Pairを紹介する。 私たちは、パリティを意識したBPEが言語間でより公平なトークン数をもたらすことを実証的に見出した。
  論文  参考訳（メタデータ） (2025-08-06T18:14:43Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• LBPE: Long-token-first Tokenization to Improve Large Language Models [26.3619552256488]
  意味情報に富んだ長いトークンは、短いトークンに比べてトークン化されたデータセットに少ない。 符号化プロセス中に長いトークンを優先するLBPEを提案する。 多様な言語モデリングタスクに対する実験は、LBPEが元のBPEよりも一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2024-11-08T12:03:36Z)
• BPE Gets Picky: Efficient Vocabulary Refinement During Tokenizer Training [8.012203293561196]
  Picky BPE(ピッキー・BPE)は、トークンーザのトレーニング中に語彙の洗練を行う改良型BPEアルゴリズムである。 本手法は語彙効率を向上し,未学習のトークンを排除し,テキスト圧縮を損なわない。
  論文  参考訳（メタデータ） (2024-09-06T20:12:34Z)
• Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal [58.29382184006158]
  そこで本研究では,パラメータフリー,計算ライト,実装容易な修正による動的足場トークン除去機構を組み込んだScaffold-BPEを提案する。 言語モデリングや機械翻訳の広範な実験において、Scaffold-BPEはオリジナルのBPEよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-04-27T07:12:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。