論文の概要: Tokenisation via Convex Relaxations

• arxiv url: http://arxiv.org/abs/2605.22821v1
• Date: Thu, 21 May 2026 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.396246
• Title: Tokenisation via Convex Relaxations
• Title（参考訳）: 凸緩和によるトークン化
• Authors: Jan Tempus, Philip Whittington, Craig W. Schmidt, Dennis Komm, Tiago Pimentel,
• Abstract要約: トークン化は現在のNLPパイプラインの不可欠な部分である。 トークンサ構築を線形プログラムとして定式化し、凸最適化ツールを用いて解決する。 ConvexTokは、固有のトークン化メトリクスと、言語モデルによって達成されるビット単位バイト(BpB)を一貫して改善する。
• 参考スコア（独自算出の注目度）: 14.99534435778172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tokenisation is an integral part of the current NLP pipeline. Current tokenisation algorithms such as BPE and Unigram are greedy algorithms -- they make locally optimal decisions without considering the resulting vocabulary as a whole. We instead formulate tokeniser construction as a linear program and solve it using convex optimisation tools, yielding a new algorithm we call ConvexTok. We find ConvexTok consistently improves intrinsic tokenisation metrics and the bits-per-byte (BpB) achieved by language models; it also improves downstream task performance, but less consistently. Furthermore, ConvexTok allows the user to certify how far their tokeniser is from optimal, with respect to a certain objective, via a lower bound, and we empirically find it to be within 1\% of optimal at common vocabulary sizes.
• Abstract（参考訳）: トークン化は現在のNLPパイプラインの不可欠な部分である。 BPEやUnigramのような現在のトークン化アルゴリズムは欲張りのアルゴリズムであり、結果として得られる語彙全体を考慮せずに、局所的に最適な決定を行う。 代わりに、トークンサ構築を線形プログラムとして定式化し、凸最適化ツールを使用して解決し、ConvexTokと呼ばれる新しいアルゴリズムを生成する。 ConvexTokは、固有のトークン化メトリクスと、言語モデルによって達成されるビット単位バイト(BpB)を一貫して改善します。 さらに、ConvexTokでは、特定の目的に対して、より低いバウンダリでトークンが最適になるまでの距離を証明できます。

関連論文リスト

• CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference [4.832840038837715]
  CSV-Decodeは、幾何上界を用いてデコードステップごとに小さなサブ語彙を構築する新しいアプローチである。 我々の手法は語彙をオフラインでクラスタ化し、センチロイド+ラディウス境界を用いて、どのトークンが語彙から安全に省略できるかを識別する。
  論文  参考訳（メタデータ） (2025-11-16T14:02:41Z)
• SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
  textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
  論文  参考訳（メタデータ） (2025-10-28T09:29:37Z)
• Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
  大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。 それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。 我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
  論文  参考訳（メタデータ） (2025-06-07T00:51:27Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• A Partition Cover Approach to Tokenization [24.595558878756787]
  トークン化とは、文字列を一定の語彙サイズのトークンに符号化するプロセスである。 Byte-Pair corpora (BPE) は、トークン化問題を圧縮問題として定式化し、マージのシーケンスを実行することでそれに取り組む。 GreedTokは圧縮においてBPEやUnigramよりも優れており、GreedWMCに匹敵するカバースコアが得られることを示す。
  論文  参考訳（メタデータ） (2025-01-08T17:07:07Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。