論文の概要: Incremental BPE Tokenization

• arxiv url: http://arxiv.org/abs/2605.30813v1
• Date: Fri, 29 May 2026 04:04:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.378883
• Title: Incremental BPE Tokenization
• Title（参考訳）: インクリメンタルBPEトークン化
• Abstract要約: 本稿では,インクリメンタルByte Pairのための新しいアルゴリズムを提案する。 モデル(BPE)トークン化。 病理学的入力に対するOpenAIのTiktokenよりも大幅に遅延を減少させることを示した。
• 参考スコア（独自算出の注目度）: 12.857819598120676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel algorithm for incremental Byte Pair Encoding (BPE) tokenization. The algorithm processes each input byte in worst-case $\mathcal{O}(\log^2 t)$ time, leading to an overall complexity of $\mathcal{O}(n \log^2 t)$, where $n$ is the input length and $t$ is the maximum token length. The algorithm incrementally maintains BPE tokenization results for every prefix of the input text, implementing the standard BPE merge procedure defined by a fixed set of merge rules. This enables efficient partial tokenization in streaming settings. Functioning as a drop-in replacement for standard BPE, our approach achieves a speedup of up to ${\sim}3\times$ over Hugging Face's tokenizers, and demonstrates significant latency reductions over OpenAI's tiktoken on pathological inputs. We further introduce an eager output algorithm that enables streaming output, emitting tokens as soon as token boundaries are determined during incremental tokenization. Overall, our results demonstrate that BPE tokenization can be performed incrementally with strong worst-case guarantees, while providing practical latency benefits in modern large language model pipelines. Code: https://github.com/ModelTC/mtc-inc-bpe
• Abstract（参考訳）: 本稿では,段階的Byte Pair Encoding(BPE)トークン化のための新しいアルゴリズムを提案する。 アルゴリズムは、各入力バイトを最悪のケース$\mathcal{O}(\log^2 t)$ timeで処理し、$\mathcal{O}(n \log^2 t)$の全体的な複雑さをもたらす。 このアルゴリズムは、入力テキストのプレフィックス毎にBPEトークン化結果を漸進的に維持し、固定されたマージルールセットで定義された標準のBPEマージ手順を実装する。 これにより、ストリーミング設定での効率的な部分トークン化が可能になる。 標準的なBPEのドロップイン代替として機能し,Hugging Faceのトークン化ツールよりも最大${\sim}3\times$の高速化を実現し,病理学的入力に対するOpenAIのTiktokenよりも大幅な遅延低減を実現している。 さらに,インクリメンタルなトークン化時にトークン境界が決定されると,即座にトークンを出力し,ストリーミング出力を可能にする,熱心な出力アルゴリズムを導入する。 全体として,BPEトークン化は,最新の大規模言語モデルパイプラインにおいて,実用的なレイテンシのメリットを提供しながら,強大な最悪の保証を伴って段階的に実施可能であることを実証した。 コード:https://github.com/ModelTC/mtc-inc-bpe

関連論文リスト

• Tokenisation via Convex Relaxations [14.99534435778172]
  トークン化は現在のNLPパイプラインの不可欠な部分である。 トークンサ構築を線形プログラムとして定式化し、凸最適化ツールを用いて解決する。 ConvexTokは、固有のトークン化メトリクスと、言語モデルによって達成されるビット単位バイト(BpB)を一貫して改善する。
  論文  参考訳（メタデータ） (2026-05-21T17:59:56Z)
• DNATokenizer: A GPU-First Byte-to-Identifier Tokenizer for High-Throughput DNA Language Models [0.0]
  DNATokはGPUファーストのトークン化システムで、汎用文字列処理をバイトルックアップテーブル(LUT)ベースの識別子ストリーミングと、重複したホスト・ツー・デバイス(H2D)/計算パイプラインに置き換える。 DNATokは最適化されたHugging Faceベースラインよりも84-95倍高いエンコーディングスループットを実現し、最大1.9倍高いH2Dスループットを実現している。
  論文  参考訳（メタデータ） (2026-01-09T05:08:17Z)
• Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization [53.22544362024936]
  トークン化は、ほとんどのNLPパイプラインの最初の、そして最も精査されていないステップである。 トークンの学習のための標準的なアルゴリズムは、周波数ベースの目的に依存している。 本稿ではParity-aware Byte Pairを紹介する。 私たちは、パリティを意識したBPEが言語間でより公平なトークン数をもたらすことを実証的に見出した。
  論文  参考訳（メタデータ） (2025-08-06T18:14:43Z)
• BlockBPE: Parallel BPE Tokenization [0.0]
  BlockBPEはバイトペア符号化(BPE)の並列GPU実装である これは現実的な仮定の下でほぼ線形時間複雑性を達成する。 ハイバッチの推論ワークロードでは、BlockBPEはTiktokenよりも最大2倍、HuggingFace Tokenizersより2.5倍高いスループットを実現している。
  論文  参考訳（メタデータ） (2025-07-16T06:12:41Z)
• A Partition Cover Approach to Tokenization [24.595558878756787]
  トークン化とは、文字列を一定の語彙サイズのトークンに符号化するプロセスである。 Byte-Pair corpora (BPE) は、トークン化問題を圧縮問題として定式化し、マージのシーケンスを実行することでそれに取り組む。 GreedTokは圧縮においてBPEやUnigramよりも優れており、GreedWMCに匹敵するカバースコアが得られることを示す。
  論文  参考訳（メタデータ） (2025-01-08T17:07:07Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• Perturb-and-Project: Differentially Private Similarities and Marginals [73.98880839337873]
  差分プライバシーのための入力摂動フレームワークを再検討し、入力にノイズを付加する。 まず、ペアワイズ・コサイン類似性をプライベートにリリースするための新しい効率的なアルゴリズムを設計する。 我々は,$k$の辺縁クエリを$n$の機能に対して計算する新しいアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-06-07T12:07:16Z)
• Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal [58.29382184006158]
  そこで本研究では,パラメータフリー,計算ライト,実装容易な修正による動的足場トークン除去機構を組み込んだScaffold-BPEを提案する。 言語モデリングや機械翻訳の広範な実験において、Scaffold-BPEはオリジナルのBPEよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-04-27T07:12:07Z)
• Tokenization and the Noiseless Channel [71.25796813073399]
  優れたトークン化器は、ある入力がモデルに伝達される手段であるチャネルの使用率を高める。 機械翻訳では、複数のトークン化器において、$alpha = 2.5$のR'enyiエントロピーがtextscBleu: $0.78$と非常に強い相関を持つことがわかった。
  論文  参考訳（メタデータ） (2023-06-29T10:32:09Z)
• A Formal Perspective on Byte-Pair Encoding [100.75374173565548]
  Byte-Pairimation (BPE) は、当初圧縮法として考案されたものの、NLPでデータをトークン化するために使われる一般的なアルゴリズムである。 我々は、ランタイムの複雑さを$mathcalOleft(N log Mright)$から$mathcalOleft(N log Mright)$に改善するBPEのより高速な実装を提供しています。
  論文  参考訳（メタデータ） (2023-06-29T10:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。