論文の概要: Rethinking BPE: Merge Selection as Model Selection

• arxiv url: http://arxiv.org/abs/2610.26225v1
• Date: Mon, 19 Oct 2026 11:53:13 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:42:32.013892
• Title: Rethinking BPE: Merge Selection as Model Selection
• Title（参考訳）: BPEを再考する: モデル選択としてのマージ選択
• Abstract要約: Byte-Pair corpora (BPE) のようなサブワードのトークン化手法は、現代言語モデルのコアコンポーネントである。 BPEマージ予算の最適化を統計的モデル選択問題として検討する。 我々は,BPE学習コーパスを元のデータから生成した合成テキストで拡張し,ユニグラムおよびビッグラム分布の推定を行う。
• 参考スコア（独自算出の注目度）: 18.70903226766322
• License:
• Abstract: Subword tokenization methods such as Byte-Pair Encoding (BPE) are a core component of modern language models; yet, tokenizer capacity remains typically determined by a fixed merge budget, chosen heuristically. Since larger vocabularies increase memory usage and computational cost, selecting compact and effective token inventories is essential for efficient language modeling. We study the optimization of a BPE merge budget as a statistical model selection problem and investigate information-theoretic criteria for \emph{computing optimal merge sets} directly from corpus statistics. To further improve the merge selection in limited data conditions, we augment the BPE training corpora with synthetic texts generated from the original data, providing estimates for the unigram and bigram distributions. Experiments across multiple corpora and downstream tasks show that using a principled vocabulary selection technique reduces model size, with little degradation in performance. We further observe that synthetic data can yield better tokenizers, especially in low-resource settings.
• Abstract（参考訳）: Byte-Pair Encoding (BPE)のようなサブワードのトークン化手法は現代の言語モデルのコアコンポーネントであるが、トークン化能力は固定マージ予算によって決定され、ヒューリスティックに選択される。 より大きな語彙はメモリ使用量と計算コストを増大させるため、効率的な言語モデリングにはコンパクトで効果的なトークン在庫を選択することが不可欠である。 本稿では,BPEマージ予算の最適化を統計モデル選択問題として検討し,コーパス統計から直接 \emph{computing optimal merge set} の情報理論基準について検討する。 限られたデータ条件下でのマージ選択をさらに改善するため、BPEトレーニングコーパスを元のデータから生成された合成テキストで強化し、ユニグラムおよびビッグラム分布の推定値を提供する。 複数のコーパスと下流タスクをまたいだ実験では、原則付き語彙選択技術を用いることで、モデルのサイズが小さくなり、性能が低下することが示されている。 さらに、特に低リソース環境では、合成データがより優れたトークン化剤が得られることを観察する。

関連論文リスト

• Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
  クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。 言語モデル微調整のための特徴マッチング手法を提案する。 この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-03-12T17:57:50Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• An Enhanced Model-based Approach for Short Text Clustering [58.60681789677676]
  Twitter、Google+、Facebookなどのソーシャルメディアの人気が高まり、短いテキストのクラスタリングがますます重要になっている。 既存の手法は、トピックモデルに基づくアプローチと深層表現学習に基づくアプローチの2つのパラダイムに大別することができる。 短文の空間性と高次元性を効果的に扱えるDirichlet Multinomial Mixture Model (GSDMM) のギブスサンプリングアルゴリズムを提案する。 さらなる改良を保証しているGSDMMのいくつかの側面に基づいて,さらなる性能向上を目的とした改良されたアプローチであるGSDMM+を提案する。
  論文  参考訳（メタデータ） (2025-07-18T10:07:42Z)
• Large Language Models are Demonstration Pre-Selectors for Themselves [57.101804269100185]
  大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
  論文  参考訳（メタデータ） (2025-06-06T12:29:03Z)
• When Every Token Counts: Optimal Segmentation for Low-Resource Language Models [0.0]
  最適Byte-Pair(BPE)構成は,グリーディセグメンテーションに比べてトークン数を大幅に削減することを示す。 この結果から,圧縮最適化トークン化戦略が多言語および低リソース言語アプリケーションに多大なメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-09T19:11:54Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。