論文の概要: The Right Byte First: How UTF-16 Helps Multilingual Boundary Prediction

• arxiv url: http://arxiv.org/abs/2610.22071v1
• Date: Thu, 15 Oct 2026 15:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.161845
• Title: The Right Byte First: How UTF-16 Helps Multilingual Boundary Prediction
• Title（参考訳）: 正しいバイトファースト:UTF-16が多言語境界予測にどのように役立つか
• Abstract要約: Universal Byte-Level UBEは1バイトと2バイトの8エンコーディングを保持するが、これらのコードポイントを2バイト16バイトと書く。 UBEのビッグエンディアン変種は8の階層ブロックの3.0%以内に留まっているため、ゲインは長さではなくバイト順に従う。 韓国語と中国語では、UBEの平均誤差はトレーニングの25%と37.5%の後に8の最終的な平均誤差を下回る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many hierarchical byte-level language models group bytes into patches using a learned boundary predictor whose view of the next codepoint depends on encoding and lookahead. In UTF-8, codepoints of many scripts take three bytes: 8 of 24 bits mark length and continuation, and the first byte carries only 4 high codepoint bits. After the same left context, a mark extending a grapheme cluster and a letter starting the next can thus share their first byte. Universal Byte-Level Encoding (UBE) keeps one- and two-byte UTF-8 encodings but writes these codepoints as two UTF-16 bytes, low byte first, so its first symbol carries 8 low codepoint bits that can distinguish such continuations. We train small causal predictors on matched FineWeb-2 text and evaluate on FLORES-200 under UTF-8, UBE, and UBE's same-length big-endian variant. At one-symbol lookahead, balanced grapheme-boundary error at codepoint boundaries across 17 languages in 13 Brahmic scripts is 8.76% with UTF-8, 8.62% with the big-endian variant, and 0.06% with UBE. When the target instead retains a parent tokenizer's subword cuts at grapheme boundaries, UBE lowers the mean error relative to UTF-8 at the same lookahead by 72.91% in Korean, 35.29% in Chinese, and 67.32-99.55% in eight more scripts. In the seven of them whose main Unicode block fits on one 256-codepoint page, the big-endian variant stays within 3.0% of UTF-8, so the gain follows byte order, not length. In Korean and Chinese, UBE's mean error falls below UTF-8's final mean error after only 25% and 37.5% of training. Which byte comes first thus affects how much lookahead a byte-level boundary predictor needs.
• Abstract（参考訳）: 多くの階層的なバイトレベル言語モデルは、次のコードポイントのビューがエンコーディングとルックアヘッドに依存している学習境界予測器を使用して、パッチにバイトをグループ化する。 UTF-8では、多くのスクリプトのコードポイントは3バイトであり、24ビットのうち8ビットはマークの長さと継続であり、最初のバイトは4ビットのコードポイントしか持たない。 同じ左のコンテキストの後、Graphemeクラスタを拡張するマークと、次に始まるレターは、最初のバイトを共有することができる。 Universal Byte-Level Encoding (UBE)は1バイトと2バイトのUTF-8エンコーディングを保持するが、これらの符号ポイントを2バイトのUTF-16バイトとして書き込む。 我々は、一致したFineWeb-2テキストで小さな因果予測器を訓練し、UTF-8、UBE、UBEの同長大エンディアン変種の下でFLORES-200で評価する。 1シンボルのルックアヘッドでは、13のBrahmicスクリプトで17言語にまたがるコードポイント境界におけるバランスの取れたグラフ-バウンダリエラーは、UTF-8で8.76%、大エンディアン版で8.62%、UBEで0.06%である。 ターゲットがグラファイム境界での親トークン発行者のサブワードカットを保持する場合、UBEはUTF-8と同一のルックアヘッドで平均誤差を72.91%、中国語で35.29%、さらに8つのスクリプトで67.32-99.55%下げる。 主要なUnicodeブロックが256コーデポイントのページに収まる7つのうち、大エンディアン変種はUTF-8の3.0%以内に留まっているため、ゲインは長さではなくバイト順に従う。 韓国語と中国語では、UBEの平均誤差はトレーニングの25%と37.5%の後にUTF-8の最終平均誤差を下回る。 どのバイトが最初に来るかは、バイトレベルの境界予測器がどれだけ必要かに影響を与えます。

関連論文リスト

• Universal Byte-Level Encoding: UTF-8/UTF-16 Routing to Reduce Cross-Script Token-Budget Disparities [2.7286395031146067]
  バイトコードレベルのバイトペア符号化(BBPE)は、Unicodeテキストをすべてカバーしているため、多言語大言語モデル(LLM)にとって魅力的である。 多くのスクリプトは英語よりも高いコストから始まる。 より高いフロアはトークン数を増やし、要求単位のコストを削減し、コンテキストを縮小することができる。 より効率的な英語トークンであるUniversal Byte-Level UBEを提案する。
  論文  参考訳（メタデータ） (2026-10-01T16:26:10Z)
• pico-type: A 1.5M-Parameter Byte-Level Multi-Head Content Classifier [0.0]
  pico-typeはバイトレベルのマルチヘッドコンテンツ分類システムである。 同時に、raw-8バイトから7つのコンテンツ特性を1つのフォワードパスで予測する。 このアーキテクチャは、学習されたバイトの埋め込み、3つの畳み込みブロックと、成長する受容場、回転位置エンコーディングを持つ2つの双方向の注意層と、7つのマトリオシカスタイルの分類ヘッドを供給している統計プール層を組み合わせている。 4つのネクタイ付き変種(tiny/small/base/pro)は、16から576次元のスライスされた表現で同じトランクを共有し、210KB未満のONNXエクスポートと10ms以下のCPU推論を生成する。
  論文  参考訳（メタデータ） (2026-07-31T12:20:03Z)
• SEDCoT: Enhancing LLM-Based COBOL Code Translation via Symbolic Execution and Delta Debugging [49.898541267264115]
  古い技術や疎結合なドキュメンテーション、開発者の引退などによって、メンテナンスはますます難しくなっている。 従来のルールベースのトランスコンパイラは、読み書きが難しい出力を出力する。 本稿では,新しいC言語翻訳フレームワークであるSEDCoTを提案する。
  論文  参考訳（メタデータ） (2026-07-05T03:07:10Z)
• UTF-8 Plumbing: Byte-level Tokenizers Unavoidably Enable LLMs to Generate Ill-formed UTF-8 [11.900027560734145]
  サブワードトークン化は、事前に定義された語彙に従って入力テキストをセグメント化し、言語モデルに入力する。 コードポイントを使用することで、すべてのメンバが段階的に有効な8文字になります。 バイトから始めると、256の初期メンバしか持たない語彙外エラーを避けることができる。
  論文  参考訳（メタデータ） (2025-11-05T00:08:01Z)
• Back to Bytes: Revisiting Tokenization Through UTF-8 [25.766926865651936]
  我々は,テキストの8-8エンコーディングに対応するIDに,テキストを正確にマッピングする最小限のバイトレベルトークンを提供する。 我々の実装は決してアウト・オブ・レンジIDを導入しない。
  論文  参考訳（メタデータ） (2025-10-19T20:06:12Z)
• SuperBPE: Space Travel for Language Models [103.09169510391972]
  我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。 SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。 我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-03-17T17:53:23Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• Neural Machine Translation without Embeddings [44.129310924201604]
  多くのNLPモデルは、手作りのトークン化規則とサブワード誘導アルゴリズムによって生成されるサブワードトークンのシーケンス上で動作する。 単純な普遍的な代替手段は、すべてのコンピュータ化されたテキストを8バイトのバイト列として表現することである。 英語から10の異なる言語へのバイトバイト機械翻訳の実験では、BLEUの一貫性が向上し、文字レベルや標準のサブワードレベルモデルに匹敵する結果となった。
  論文  参考訳（メタデータ） (2020-08-21T09:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。