論文の概要: Language Models over Canonical Byte-Pair Encodings

• arxiv url: http://arxiv.org/abs/2506.07956v1
• Date: Mon, 09 Jun 2025 17:26:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.075904
• Title: Language Models over Canonical Byte-Pair Encodings
• Title（参考訳）: 標準バイトペア符号化による言語モデル
• Authors: Tim Vieira, Tianyu Liu, Clemente Pasti, Yahya Emara, Brian DuSell, Benjamin LeBrun, Mario Giulianelli, Juan Luis Gastaldi, Timothy J. O'Donnell, Ryan Cotterell,
• Abstract要約: トークンレベルの言語モデルにおいて、正準性を強制する手法を提案する。 正則性ミスの修正は,いくつかのモデルやコーパスの保持データの可能性を向上させることを示す。
• 参考スコア（独自算出の注目度）: 56.09166157337198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models represent probability distributions over character strings as distributions over (shorter) token strings derived via a deterministic tokenizer, such as byte-pair encoding. While this approach is highly effective at scaling up language models to large corpora, its current incarnations have a concerning property: the model assigns nonzero probability mass to an exponential number of $\it{noncanonical}$ token encodings of each character string -- these are token strings that decode to valid character strings but are impossible under the deterministic tokenizer (i.e., they will never be seen in any training corpus, no matter how large). This misallocation is both erroneous, as noncanonical strings never appear in training data, and wasteful, diverting probability mass away from plausible outputs. These are avoidable mistakes! In this work, we propose methods to enforce canonicality in token-level language models, ensuring that only canonical token strings are assigned positive probability. We present two approaches: (1) canonicality by conditioning, leveraging test-time inference strategies without additional training, and (2) canonicality by construction, a model parameterization that guarantees canonical outputs but requires training. We demonstrate that fixing canonicality mistakes improves the likelihood of held-out data for several models and corpora.
• Abstract（参考訳）: 現代の言語モデルは、バイトペアエンコーディングのような決定論的トークン化器によって導出される(ストータ)トークン文字列上の分布として文字列上の確率分布を表現している。 モデルは、各文字列の指数数$\it{noncanonical}$トークンエンコーディングに非ゼロ確率質量を割り当てる -- これらは、有効な文字列にデコードされるが決定論的トークン化子の下では不可能なトークン文字列である。 非正準弦は訓練データに現れず、確率質量を可算出力から逸脱させるためである。 これらは避けられない間違いです! 本研究では,トークンレベルの言語モデルにおいて正準性を強制する手法を提案し,正準トークン文字列のみが正の確率に割り当てられることを保証する。 本研究では,(1)条件付けによる正準性,(2)追加のトレーニングを伴わないテスト時間推論戦略の活用,(2)構成による正準性,(2)標準出力を保証するが訓練を必要とするモデルパラメータ化の2つのアプローチを提案する。 正規性ミスの修正は、いくつかのモデルやコーパスの保持データの可能性を改善することを実証する。

関連論文リスト

• Canonical Autoregressive Generation [17.065618029171766]
  大規模言語モデルが必ずしも標準トークンシーケンスを生成するとは限らないことを示す。 非正準トークン列の生成を阻害する簡易かつ効率的なサンプリング手法であるカノニカルサンプリングを導入する。
  論文  参考訳（メタデータ） (2025-06-06T18:09:10Z)
• Causal Estimation of Tokenisation Bias [58.20086589761273]
  我々は、訓練されたモデルが対応する文字に割り当てる確率に対して、トークンの語彙にサブワードを含むか否かを定量化する。 トークン化は、スケール、語彙、トークンサプライヤにわたるモデルのアウトプットに一貫して影響を与えます。 特に、小モデルの語彙におけるサブワードの存在は、文字の確率を最大17倍に向上させる可能性がある。
  論文  参考訳（メタデータ） (2025-06-03T17:59:47Z)
• From Language Models over Tokens to Language Models over Characters [54.123846188068384]
  現代の言語モデルは、内部的、数学的には、エンファラクタ文字列ではなくトークン文字列上の分布である。 本稿では,トークンレベル言語モデルから文字レベル言語への変換アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-04T21:19:20Z)
• Tokenization as Finite-State Transduction [24.19959327497118]
  正規言語の全てのトークン化を効率的にエンコードできる有限状態フレームワークを導入する。 そのByte-Pairを示します。 Match(BPE)とMaxPiece(WordPiece)がこのフレームワークに適合する。 これの応用は、あるパターンにマッチするように言語モデルの出力を制約するガイド付き生成である。
  論文  参考訳（メタデータ） (2024-10-21T07:10:07Z)
• Understanding and Mitigating Tokenization Bias in Language Models [6.418593476658017]
  State-of-the-art言語モデルは自己回帰型であり、トークンとして知られるサブワード単位で動作する。 一般的な符号化方式は、より多くのトレーニングやデータで緩和できないサンプリングバイアスを引き起こすことを示す。 トークン化データに基づいて訓練された任意の言語モデルからバイアスのない推定値を得るための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:38:02Z)
• Lexinvariant Language Models [84.2829117441298]
  離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある 我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。 十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-24T19:10:46Z)
• Few-Shot Semantic Parsing with Language Models Trained On Code [52.23355024995237]
  Codexは同等のGPT-3モデルよりもセマンティックパーシングが優れていることがわかった。 GPT-3とは異なり、Codexは意味表現を直接ターゲットとする場合、おそらく意味解析で使われる意味表現がコードと似た構造になっているように、同じように機能する。
  論文  参考訳（メタデータ） (2021-12-16T08:34:06Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• You should evaluate your language model on marginal likelihood overtokenisations [5.824498637088864]
  言語モデルはトークン化よりも限界的な可能性に基づいて評価されるべきである、と我々は主張する。 我々は,英語とドイツ語の事前学習モデルについて,最良語化と限界語化の両面で評価した。
  論文  参考訳（メタデータ） (2021-09-06T15:37:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。