論文の概要: MinGram: A Minimalist Unigram Tokenizer with High Compression and Competitive Morphological Alignment

• arxiv url: http://arxiv.org/abs/2606.27019v1
• Date: Thu, 25 Jun 2026 13:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.294894
• Title: MinGram: A Minimalist Unigram Tokenizer with High Compression and Competitive Morphological Alignment
• Title（参考訳）: MinGram: 圧縮性と競争性のあるモルフォロジーアライメントを備えたミニマリストユニグラムトケナイザ
• Abstract要約: トークンリストの表現は維持するが,BPE由来のシード語彙を用いたトレーニングを簡略化するMinGramを導入する。 下流言語モデルのトレーニングでは、MinGramが最良で、バイト単位のビット数でBPEを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The Unigram tokenizer uses an elegant representation which makes it straightforward to edit vocabularies, but its training is comparatively heavy and complex. We introduce MinGram (Minimalist Unigram), which keeps the token-list representation but simplifies training using a BPE-derived seed vocabulary, Hard EM on a minimum-token path, and a single flat score-pruning step. This removes the suffix array, the forward-backward pass, and the iterative prune loop, leaving a procedure that requires little beyond tokenizer inference itself. By making token count the primary objective and using a Unigram score only as a tiebreak, MinGram keeps the compression of pure token-count methods while retaining much of the morphological alignment and downstream quality of probabilistic ones. Across six languages, MinGram compresses better than both BPE and standard Unigram, and a compression-oriented variant matches the strongest token-count compressors while retaining substantially higher morphological alignment. In controlled downstream language-model training, Unigram-family tokenizers, with MinGram among the best, consistently beat BPE in bits-per-byte.
• Abstract（参考訳）: Unigramトークンは、語彙を簡単に編集できるエレガントな表現を使用しているが、その訓練は比較的重く複雑である。 MinGram (Minimalist Unigram) を導入し, トークンリストの表現を保ちつつ, BPE由来のシード語彙, 最小トーケンパス上のハードEM, 平らなスコア実行ステップを用いたトレーニングを簡略化する。 これにより、接尾辞配列、前方のパス、反復的なプルーループが取り除かれ、トークン化子推論自体をほとんど必要としないプロシージャが残される。 MinGramは、トークンカウントを第一の目的とし、Unigramスコアをタイブレークとして使うことで、純粋なトークンカウントメソッドの圧縮を維持しながら、確率的メソッドのモルフォロジーアライメントと下流品質を維持できる。 6言語にわたって、MinGramはBPEとUnigramより圧縮性が良く、圧縮指向の変種は、かなり高いモルフォロジーアライメントを維持しながら、最強のトークン数圧縮機と一致する。 下流言語モデルのトレーニングでは、MinGramが最良で、バイト単位のビット数でBPEを一貫して上回っている。

関連論文リスト

• Tokenizer-Agnostic Engram Module [5.1296785679475105]
  DeepseekのEngram条件付きメモリモジュールは、Engram埋め込みルックアップのトークンレベルの$N$-gramハッシュに依存している。 本稿では,異なるトークンを用いたEngramモデル間の互換性を実現するため,ハッシュルーチンの変更を提案する。 この研究は、可能なトレードオフを調査し、この単純な置換が同等のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-07-31T06:32:15Z)
• Tensorizing Engram: Sharing Latents Across N-Gram Embeddings is Beneficial in LLMs [29.319221741796685]
  過度にトークン化されたトランスフォーマーとEngramは、マルチトークンメモリを明示的に組み込むことで、この制限に対処しようとする。 本稿では,共有因子によるn-gramの埋め込みを表すコンパクトメモリモジュールであるPolyadicized Engram (TN-gram)を提案する。 総合的な実験により、TN-gram は Engram スタイルの n-gram 加群と一致し、さらに優れることを示した。
  論文  参考訳（メタデータ） (2026-06-06T21:36:51Z)
• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• Which Pieces Does Unigram Tokenization Really Need? [6.722891561991933]
  Unigramトークン化アルゴリズムはByte-Pairのgreedyアダプタに代わる確率的な代替手段を提供する。 実装とパラメータ選択の明確なガイドを提供することで、理論と実践のギャップを埋める。
  論文  参考訳（メタデータ） (2025-12-14T11:13:49Z)
• Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization [53.22544362024936]
  トークン化は、ほとんどのNLPパイプラインの最初の、そして最も精査されていないステップである。 トークンの学習のための標準的なアルゴリズムは、周波数ベースの目的に依存している。 本稿ではParity-aware Byte Pairを紹介する。 私たちは、パリティを意識したBPEが言語間でより公平なトークン数をもたらすことを実証的に見出した。
  論文  参考訳（メタデータ） (2025-08-06T18:14:43Z)
• Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
  大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。 それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。 我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
  論文  参考訳（メタデータ） (2025-06-07T00:51:27Z)
• A Partition Cover Approach to Tokenization [24.595558878756787]
  トークン化とは、文字列を一定の語彙サイズのトークンに符号化するプロセスである。 Byte-Pair corpora (BPE) は、トークン化問題を圧縮問題として定式化し、マージのシーケンスを実行することでそれに取り組む。 GreedTokは圧縮においてBPEやUnigramよりも優れており、GreedWMCに匹敵するカバースコアが得られることを示す。
  論文  参考訳（メタデータ） (2025-01-08T17:07:07Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal [58.29382184006158]
  そこで本研究では,パラメータフリー,計算ライト,実装容易な修正による動的足場トークン除去機構を組み込んだScaffold-BPEを提案する。 言語モデリングや機械翻訳の広範な実験において、Scaffold-BPEはオリジナルのBPEよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-04-27T07:12:07Z)
• Partition and Code: learning how to compress graphs [50.29024357495154]
  まず、分割アルゴリズムがグラフを基本構造に分解し、これらを確率分布を学習する小さな辞書の要素にマッピングし、エントロピーエンコーダが表現をビットに変換する。 提案アルゴリズムは,非パラメトリックおよびパラメトリックグラフ圧縮器の異なるファミリーに対して,多種多様な実世界のネットワーク上で定量的に評価し,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2021-07-05T11:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。