論文の概要: Beyond Perplexity: UTF-8 Validity in Byte-aware Language Models

• arxiv url: http://arxiv.org/abs/2606.14122v1
• Date: Fri, 12 Jun 2026 05:03:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.755793
• Title: Beyond Perplexity: UTF-8 Validity in Byte-aware Language Models
• Title（参考訳）: 難易度を超えて: バイト対応言語モデルにおけるUTF-8の有効性
• Authors: Sangwhan Moon, Daisuke Oba, Youmi Ma, Tatsuya Hiraoka, Naoaki Okazaki,
• Abstract要約: バイトレベルのトークン化により、言語モデルはUnicode入力を処理できるが、まれな文字や見えない文字に遭遇した場合に、無効な8つのシーケンスを生成することができる。 英語,日本語,中国語の多言語コーパスから80Bトークンをトレーニングした355パラメータモデルを用いて,訓練尺度と8世代信頼性の関係について検討した。 文脈自由生成では、稀な文字は一般的な文字よりも高い構造的妥当性を達成し、頻繁な文字表現の過剰な特殊化を示唆する。
• 参考スコア（独自算出の注目度）: 20.9586694123981
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Byte-level tokenization enables language models to handle any Unicode input, but models can generate invalid UTF-8 sequences when encountering rare or unseen characters. We investigate the relationship between training scale and UTF-8 generation reliability with a 355M parameter model trained on 80B tokens from a balanced multilingual corpus of English, Japanese, Korean, and Chinese. We introduce multiple evaluation protocols that isolate UTF-8 structural validity from language modeling. UTF-8 validity convergence lags perplexity by a roughly a factor of two: perplexity stabilizes after 2.1B tokens, but UTF-8 validity requires 4.2B tokens. In context-free generation, rare characters achieve higher structural validity than common characters, suggesting over-specialization of frequent character representations. Through experiments, we observed that reliable UTF-8 generation is a distinct capability requiring evaluation beyond perplexity.
• Abstract（参考訳）: バイトレベルのトークン化により、言語モデルはUnicode入力を処理できるが、まれな文字や見えない文字に遭遇した場合に、無効なUTF-8シーケンスを生成することができる。 英語,日本語,韓国語,中国語の多言語コーパスから80Bトークンをトレーニングした355Mパラメータモデルを用いて,トレーニング尺度とUTF-8生成信頼性の関係について検討した。 言語モデルからUTF-8の構造的妥当性を分離する複数の評価プロトコルを導入する。 UTF-8は2.1Bトークンの後にパープレキシティが安定するが、UTF-8の妥当性は4.2Bトークンを必要とする。 文脈自由生成では、稀な文字は一般的な文字よりも高い構造的妥当性を達成し、頻繁な文字表現の過剰な特殊化を示唆する。 実験により,信頼性のあるUTF-8生成は,難易度を超える評価を必要とする特徴であることがわかった。

関連論文リスト

• UTF-8 Plumbing: Byte-level Tokenizers Unavoidably Enable LLMs to Generate Ill-formed UTF-8 [11.900027560734145]
  サブワードトークン化は、事前に定義された語彙に従って入力テキストをセグメント化し、言語モデルに入力する。 コードポイントを使用することで、すべてのメンバが段階的に有効な8文字になります。 バイトから始めると、256の初期メンバしか持たない語彙外エラーを避けることができる。
  論文  参考訳（メタデータ） (2025-11-05T00:08:01Z)
• Back to Bytes: Revisiting Tokenization Through UTF-8 [25.766926865651936]
  我々は,テキストの8-8エンコーディングに対応するIDに,テキストを正確にマッピングする最小限のバイトレベルトークンを提供する。 我々の実装は決してアウト・オブ・レンジIDを導入しない。
  論文  参考訳（メタデータ） (2025-10-19T20:06:12Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• From Language Models over Tokens to Language Models over Characters [54.123846188068384]
  現代の言語モデルは、$itcharacter$ stringsではなく$ittoken$ strings上の内部的、数学的に...分布である。 本稿では,トークンレベル言語モデルから文字レベル言語への変換アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-04T21:19:20Z)
• Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• Local Byte Fusion for Neural Machine Translation [19.16966721276286]
  サブワードトークン化スキームは、現在のNLPモデルで使用される主要なテクニックである。 バイトベースのメソッド、すなわちバイトシーケンスへのトークン化は代替手段である。 多言語翻訳、ゼロショット交叉変換、ドメイン適応の実験は、従来のモデルよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-05-23T17:49:02Z)
• Neural Machine Translation without Embeddings [44.129310924201604]
  多くのNLPモデルは、手作りのトークン化規則とサブワード誘導アルゴリズムによって生成されるサブワードトークンのシーケンス上で動作する。 単純な普遍的な代替手段は、すべてのコンピュータ化されたテキストを8バイトのバイト列として表現することである。 英語から10の異なる言語へのバイトバイト機械翻訳の実験では、BLEUの一貫性が向上し、文字レベルや標準のサブワードレベルモデルに匹敵する結果となった。
  論文  参考訳（メタデータ） (2020-08-21T09:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。