論文の概要: Dynamic-Programming-Guided Hierarchical BPE and Empirical Analysis of Vocabulary Pruning

• arxiv url: http://arxiv.org/abs/2609.06898v1
• Date: Mon, 07 Sep 2026 00:50:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.334379
• Title: Dynamic-Programming-Guided Hierarchical BPE and Empirical Analysis of Vocabulary Pruning
• Title（参考訳）: 動的プログラミング誘導階層型BPEと語彙表現の実証解析
• Abstract要約: 本稿では,BPEトレーニングによって引き起こされる階層的依存関係と,最小限のセグメンテーションの下でのトークン露光を組み合わせた語彙構成法を提案する。 DH-BPEは、標準BPE、Pruned BPE、MinGramの集合圧縮を、最小限の共有DPエンコーダで一貫して改善することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Byte Pair Encoding (BPE) constructs vocabularies through greedy pair merging, but the resulting merge order does not necessarily allocate a fixed model-visible vocabulary optimally for compression. We propose Dynamic-Programming-Guided Hierarchical BPE (DH-BPE), a vocabulary-construction method that combines token exposure under exact minimum-token segmentation with the hierarchical dependencies induced by BPE training. Starting from a modestly overshot BPE candidate vocabulary, DH-BPE uses dynamic programming to measure candidate utility and applies exposure-guided, dependency-aware pruning to select a fixed-size model-visible vocabulary. We compare DH-BPE against Standard BPE and recent vocabulary-optimization baselines, including Pruned BPE, MinGram, and MinGram-PP, in primary evaluations at 12K and 16K target vocabulary sizes, with an additional 18K evaluation against MinGram only. Across the primary 12K and 16K comparisons, DH-BPE consistently improves aggregate compression over Standard BPE, Pruned BPE, and MinGram under a shared exact minimum-token DP encoder. MinGram-PP achieves stronger aggregate compression in the primary comparisons, but DH-BPE outperforms it at overshoot factors f = 2.0 and f = 3.0 in cross-corpus evaluation; at 12K, MinGram-PP reverses this ordering only with the substantially larger candidate pools at f = 4.0 and f = 5.0. Qualitative analysis further shows that DH-BPE balances later, more complete BPE merges with reusable subword components, providing a practical approach to improving vocabulary allocation under a fixed model-visible vocabulary budget.
• Abstract（参考訳）: Byte Pair Encoding (BPE) は、greedyペアのマージによって語彙を構成するが、結果として得られるマージ順序は、必ずしも圧縮のために最適化されたモデル可視の語彙を最適に割り当てるとは限らない。 本稿では,BPEトレーニングによって引き起こされる階層的依存関係と,最小限のセグメンテーションの下でのトークン露光とを組み合わせた語彙構成法である動的プログラミング誘導階層型BPE(DH-BPE)を提案する。 わずかにオーバーショットされたBPE候補語彙から始め、DH-BPEは動的プログラミングを使用して候補ユーティリティを測定し、露光誘導された依存性認識プルーニングを適用して、固定サイズのモデル可視語彙を選択する。 標準BPEに対するDH-BPEと最近の語彙最適化ベースライン(Pruned BPE, MinGram, MinGram-PP)を比較した。 主要な12Kと16Kの比較で、DH-BPEは標準BPE、Pruned BPE、MinGramの合計圧縮を常に改善している。 MinGram-PP は一次比較においてより強い集約圧縮を達成するが、DH-BPE は超過係数 f = 2.0 と f = 3.0 をクロスコーパス評価で上回り、12K では、MinGram-PP は f = 4.0 と f = 5.0 の候補プールでのみこの順序を反転させる。 定性的な分析により、DH-BPEは後でバランスを保ち、より完全なBPEは再利用可能なサブワードコンポーネントと融合し、固定されたモデル可視語彙予算の下で語彙割り当てを改善するための実践的なアプローチを提供する。

関連論文リスト

• Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding [0.0]
  Pruned BPEは、学習後の可視性とトークンの配置方法である。 マージ構造とモデル可視語彙選択を分離する。 実験により、Pruned BPEは標準BPEと比較してエンコード長を一貫して減少させることが示された。
  論文  参考訳（メタデータ） (2026-08-01T19:34:44Z)
• Significance-Gain Pair Encoding for LLMs: A Statistical Alternative to Frequency-Based Subword Merging [0.0]
  Significance-Gain BPE は、独立型ヌルモデルの下でz統計による凝集を測定する代替マージ基準である。 検証とテストの難易度をそれぞれ13%、テストの難易度を12%削減し、検証とテストのBPCを0.9～1.0%改善する。
  論文  参考訳（メタデータ） (2026-02-26T20:29:18Z)
• Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization [53.22544362024936]
  トークン化は、ほとんどのNLPパイプラインの最初の、そして最も精査されていないステップである。 トークンの学習のための標準的なアルゴリズムは、周波数ベースの目的に依存している。 本稿ではParity-aware Byte Pairを紹介する。 私たちは、パリティを意識したBPEが言語間でより公平なトークン数をもたらすことを実証的に見出した。
  論文  参考訳（メタデータ） (2025-08-06T18:14:43Z)
• Effective Length Extrapolation via Dimension-Wise Positional Embeddings Manipulation [60.22622442950905]
  大型言語モデル(LLM)は、入力トークンの数がトレーニング済みの長さを超えると、コヒーレントなコンテキストを処理し、生成するのに苦労することが多い。 長文拡張の最近の進歩は、LLMのコンテキストウィンドウを大きく拡張した。 LLMのコンテキストウィンドウを外挿するためのDPE(Dmension-Wise Positional Embeddings Manipulation)を提案する。
  論文  参考訳（メタデータ） (2025-04-26T08:46:10Z)
• MorphTok: Morphologically Grounded Tokenization for Indian Languages [18.594241501479747]
  トークン化は、特に大規模言語モデル(LLM)の台頭において、NLPにおいて重要なステップである。 古典的Byte-pairを適用する前に, 形態素認識のセグメンテーションを事前学習のステップとして提案する。 音節ベースの書記システムに共通する係り受け母音を扱うために,制約付きBPE(CBPE)を提案する。 CBPEは従属母音を扱い、単一の単位として発生するのではなく、他の文字との結合単位を形成する。
  論文  参考訳（メタデータ） (2025-04-14T15:44:45Z)
• SuperBPE: Space Travel for Language Models [103.09169510391972]
  我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。 SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。 我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-03-17T17:53:23Z)
• Adaptive BPE Tokenization for Enhanced Vocabulary Adaptation in Finetuning Pretrained Language Models [26.442558912559658]
  Byte-Pair を用いた語彙適応手法の基本的な限界を示す。 (BPE)エキスパートドメインへの微調整事前学習言語モデル(PLM)のトークン化方式。 本稿では,BPEのトークン化フェーズが変更され,文字レベルでのトークン化の前に,付加(ターゲット)語彙上で最も長い文字列マッチングが実行されるAdaptBPEを提案する。
  論文  参考訳（メタデータ） (2024-10-04T09:24:55Z)
• SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
  サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである 本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
  論文  参考訳（メタデータ） (2023-07-31T04:38:47Z)
• Efficient CNN with uncorrelated Bag of Features pooling [98.78384185493624]
  Bag of Features (BoF)は、畳み込み層の複雑さを軽減するために最近提案されている。 本稿では,BoFプーリング上に構築した手法を用いて,学習辞書の項目が非冗長であることを保証する。 提案した戦略は、BoFの効率的な変種を生成し、追加のパラメータを使わずにその性能をさらに向上させる。
  論文  参考訳（メタデータ） (2022-09-22T09:00:30Z)
• Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation [80.38621085548013]
  本稿では,文をサブワード単位にトークン化するための新しいセグメンテーションアルゴリズムである動的プログラミング(DPE)を提案する。 ターゲットセグメンテーションを見つけるために、正確なログ境界推定と正確なMAP推定を可能にする混合文字サブワード変換器を提案する。
  論文  参考訳（メタデータ） (2020-05-03T05:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。