論文の概要: Adaptive Frequency Threshold Byte Pair Encoding for Mixed Natural Language and Structured Symbolic Corpora

• arxiv url: http://arxiv.org/abs/2610.32921v1
• Date: Fri, 23 Oct 2026 17:21:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.619507
• Title: Adaptive Frequency Threshold Byte Pair Encoding for Mixed Natural Language and Structured Symbolic Corpora
• Title（参考訳）: 混合自然言語と構造化記号コーパスのための適応周波数閾値バイトペア符号化
• Abstract要約: 本稿では,新しいトークン化手法として適応周波数閾値バイトペア(AdaBPE)を提案する。 AdaBPEは、候補トークンの長さとその型の両方に基づいて最小周波数閾値を適用し、一般的な言語パターンと正式な言語パターンを区別する。 我々は、AdaBPEを5つのデータセットにまたがって評価し、自然言語を用いた。
• 参考スコア（独自算出の注目度）: 8.222766402753887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern language models rely on subwording tokenization to define the discrete units of input processing, typically using methods like Byte Pair Encoding (BPE) that treat whitespace as a fixed semantic boundary. This design is inherently limited, as many meaningful concepts---including multiword expressions and the structured environments of formal languages like LaTeX---frequently span across whitespaces. While recent superword tokenization methods attempt to address this by relaxing whitespace constraints, they often rely on greedy frequency-driven merging that fails to account for token length or the specific needs of underrepresented domain-specific languages. In this paper, we introduce Adaptive Frequency Threshold Byte Pair Encoding (AdaBPE), a new tokenization method that leverages an adaptive frequent-pattern mining approach. AdaBPE features a twofold dynamicity: it adapts minimum frequency thresholds based on both the length of a candidate token, to prevent favoring frequent short patterns, and its type, to distinguish between general and formal language patterns, using LaTeX as case in point. This allows the model to efficiently allocate vocabulary capacity to domain-specific notations, such as LaTeX, even when they represent a small fraction of the training data. We evaluate AdaBPE across five datasets spanning LaTeX and natural language, showing consistent gains in encoding efficiency and downstream language-model performance on domain-specific content without compromising general-language performance.
• Abstract（参考訳）: 現代の言語モデルは、入力処理の離散単位を定義するためにサブワードトークン化に依存しており、通常、ホワイトスペースを固定されたセマンティック境界として扱うByte Pair Encoding (BPE)のような方法を使用する。 この設計は本質的に制限されており、多くの意味ある概念、例えばマルチワード表現やLaTeXのような形式言語の構造された環境を含む。 最近のスーパーワードのトークン化手法は、ホワイトスペースの制約を緩和することでこの問題に対処しようとするが、しばしば、トークンの長さや表現不足のドメイン固有言語の特定のニーズを考慮しない、強欲な周波数駆動のマージに依存している。 本稿では,適応型頻繁パターンマイニング手法を利用した新しいトークン化手法であるAdaptive Frequency Threshold Byte Pair Encoding(AdaBPE)を提案する。 AdaBPEは、候補トークンの長さの両方に基づいて最小周波数閾値を適応し、頻繁なショートパターンやその型を回避し、LaTeXをポイントとして、一般的な言語パターンとフォーマルな言語パターンを区別する。 これにより、トレーニングデータのごく一部を表す場合でも、LaTeXのようなドメイン固有の表記法に語彙容量を効率的に割り当てることが可能になる。 我々は,LaTeXと自然言語にまたがる5つのデータセットのAdaBPEを評価し,汎用的なパフォーマンスを損なうことなく,ドメイン固有コンテンツ上での符号化効率とダウンストリーム言語モデルの性能が一貫した向上を示した。

関連論文リスト

• LangMAP: A Language-Adaptive Approach to Tokenization [30.443524396044428]
  LangMAPは、UnigramLMアルゴリズムを多言語設定に拡張するトークン化スキームである。 マルチ言語モデルをスクラッチからトレーニングしたり、事前訓練されたモデルのトークン化ツールを個別の言語に適応する際にも使用することができる。 言語ラベルはトレーニング時に必要とされているが、アルゴリズムの重要な特徴は、入力言語の知識なしに推論時に言語固有のトークン化を実行することである。
  論文  参考訳（メタデータ） (2026-06-22T16:32:00Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• HYPEROFA: Expanding LLM Vocabulary to New Languages via Hypernetwork-Based Embedding Initialization [50.27950279695363]
  多くの事前訓練された言語モデル (PLM) は、中級言語と低級言語で最適な性能を示す。 これを解決するための一般的な戦略は、ターゲット言語固有の新しいトークンを導入し、埋め込みを初期化し、ターゲット言語データに連続的な事前トレーニングを適用することである。 より適応的なトークン埋め込みのためのハイパーネットワークベースのアプローチであるHYPEROFAを提案する。
  論文  参考訳（メタデータ） (2025-04-21T19:40:32Z)
• Tokenization as Finite-State Transduction [24.19959327497118]
  正規言語の全てのトークン化を効率的にエンコードできる有限状態フレームワークを導入する。 そのByte-Pairを示します。 Match(BPE)とMaxPiece(WordPiece)がこのフレームワークに適合する。 これの応用は、あるパターンにマッチするように言語モデルの出力を制約するガイド付き生成である。
  論文  参考訳（メタデータ） (2024-10-21T07:10:07Z)
• MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
  マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。 適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。