論文の概要: More Than Words: Compositional Tokenization for Efficient Language Models

• arxiv url: http://arxiv.org/abs/2610.05597v1
• Date: Sun, 04 Oct 2026 23:01:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 12:39:36.908751
• Title: More Than Words: Compositional Tokenization for Efficient Language Models
• Title（参考訳）: 単語以上のもの:効率的な言語モデルのための構成的トークン化
• Abstract要約: CoBPE は語彙ベースのトークン (table) で、小さな再利用可能な表面修飾器のセットが付属している。 780Mと1.3Bスケールでスクラッチから制御された事前トレーニングにおいて、CoBPEはシーケンスを30%短縮し、平均ダウンストリーム性能を1.2ポイント改善した。
• 参考スコア（独自算出の注目度）: 9.273273023595065
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Language models process and generate text sequentially in token units, and the tokenizer determines how much text each inference step covers. Under standard tokenization, a short English phrase such as "On the table." is usually produced as four separate predictions for the preposition (On), article (the), noun (table), and punctuation (.), where each consumes a sequence position and adds inference cost. We introduce CoBPE, a compositional tokenization approach that represents such phrases as a lexical base token (table) attached with a small set of reusable surface modifiers, composed in embedding space at input and predicted jointly at output. In controlled pretraining from scratch at 780M and 1.3B scales, CoBPE shortens sequences by 30% and improves average downstream performance by 1.2 points relative to standard BPE under matched training compute. Our results suggest that part of what is now expressed through token sequences can instead be modeled through structured representations, opening a broad design space for more token-efficient and capable language models.
• Abstract（参考訳）: 言語モデルはトークン単位で逐次テキストを処理して生成し、トークン化器は各推論ステップがカバーするテキスト数を決定する。 標準的なトークン化では、"On the Table"のような短い英語のフレーズは、通常、前置詞(On)、記事(the)、名詞(table)、句句(.)の4つの別々の予測として作成され、それぞれがシーケンス位置を消費し、推論コストを加算する。 我々は,このようなフレーズを,少数の再利用可能な表面修飾器を付加した語彙ベーストークン(テーブル)として表現する合成トークン化手法であるCoBPEを紹介し,入力時に埋め込み空間を構成し,出力時に共同で予測する。 780Mと1.3Bスケールのスクラッチからの事前トレーニングでは、CoBPEはシーケンスを30%短縮し、マッチしたトレーニング計算の下で標準のBPEと比較して平均ダウンストリーム性能を1.2ポイント向上する。 以上の結果から,トークンシーケンスによって表現される部分の一部が構造化表現によってモデル化され,よりトークン効率が高く有能な言語モデルのための広い設計空間が開放されていることが示唆された。

関連論文リスト

• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• MorphTok: Morphologically Grounded Tokenization for Indian Languages [18.594241501479747]
  トークン化は、特に大規模言語モデル(LLM)の台頭において、NLPにおいて重要なステップである。 古典的Byte-pairを適用する前に, 形態素認識のセグメンテーションを事前学習のステップとして提案する。 音節ベースの書記システムに共通する係り受け母音を扱うために,制約付きBPE(CBPE)を提案する。 CBPEは従属母音を扱い、単一の単位として発生するのではなく、他の文字との結合単位を形成する。
  論文  参考訳（メタデータ） (2025-04-14T15:44:45Z)
• Tokenization as Finite-State Transduction [24.19959327497118]
  正規言語の全てのトークン化を効率的にエンコードできる有限状態フレームワークを導入する。 そのByte-Pairを示します。 Match(BPE)とMaxPiece(WordPiece)がこのフレームワークに適合する。 これの応用は、あるパターンにマッチするように言語モデルの出力を制約するガイド付き生成である。
  論文  参考訳（メタデータ） (2024-10-21T07:10:07Z)
• Tokenization Is More Than Compression [14.939912120571728]
  Byte-Pairのような既存のトークン化アプローチ。 (BPE)はデータ圧縮の分野に由来する。 PathPieceは、文書のテキストを与えられた語彙に対して最小のトークン数に分割する新しいトークンライザである。
  論文  参考訳（メタデータ） (2024-02-28T14:52:15Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
  一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。 その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。 我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
  論文  参考訳（メタデータ） (2020-04-07T21:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。