論文の概要: Type-Driven Tokenization for Brahmic Scripts

• arxiv url: http://arxiv.org/abs/2609.22125v1
• Date: Fri, 21 Aug 2026 08:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.721803
• Title: Type-Driven Tokenization for Brahmic Scripts
• Title（参考訳）: ブラフミックスクリプトのための型駆動トークン化
• Abstract要約: トークンライザは、英語のようなアルファベットのスクリプトでは発生しない正書法的な制約に違反する。 我々は、Agdaでこの区別を定式化し、遷移系における不正な連鎖として有効なブラフミックトークンをモデル化し、証明可能な正しいtexttfixToken関数を導出する。 この形式的な派生は、SentencePieceの実践的なパッチと、スタンドアロンのRustベースのプレトケナイザライブラリにどのように変換されるかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard tokenizers used in large language models produce malformed text when applied to Brahmic scripts. They are a family of abugidas, writing systems whose consonants carry an inherent vowel that dependent marks can modify. They include Devanagari, Telugu, Tamil, Kannada, and others. The underlying issue is that these tokenizers violate orthographic constraints that do not arise in alphabetic scripts like English. We observe that while English orthography forms a \emph{semigroup} (any two valid tokens can be freely concatenated), Brahmic orthography forms a \emph{partial semigroup}: not every concatenation yields a valid string. We formalise this distinction in Agda, model valid Brahmic tokens as chains in a transition system, and derive a provably correct \texttt{fixToken} function that extends any candidate token to respect orthographic boundaries. We then show how this formal derivation translates into a practical patch for SentencePiece as well as a standalone Rust-based pre-tokenizer library, eliminating the observed errors across Indic scripts.
• Abstract（参考訳）: 大規模な言語モデルで使用される標準的なトークン化器は、ブラフミックスクリプトに適用した場合、不正なテキストを生成する。 彼らはバグダスの家系であり、子音が固有の母音を持ち、依存する記号を変更できるシステムを書く。 その中には、デヴァナガリ、テルグ、タミル、カナダなどが含まれる。 根本的な問題は、これらのトークンライザが、英語のようなアルファベットのスクリプトでは発生しない正書法的な制約に違反していることである。 英語の正書法が \emph{semigroup}(任意の2つの有効なトークンは自由に連結化可能である)を形成するのに対し、ブラフミック正書法は \emph{partial semigroup} を形成する。 我々は、Agdaでこの区別を定式化し、遷移系の連鎖として有効なブラフミックトークンをモデル化し、任意の候補トークンを正則境界を尊重するように拡張する証明可能な正則な \texttt{fixToken} 関数を導出する。 次に、このフォーマルな派生が、SentencePieceとスタンドアロンのRustベースのプリトケナイザライブラリの実用的なパッチにどのように変換されるかを示し、Indicスクリプト間で観測されたエラーを排除します。

関連論文リスト

• Token-to-Token Alignment of Text Embeddings for Semantic Blending [55.88554156801394]
  本稿では,プロンプト間のトークン間の明示的な意味的対応を確立するフレームワークであるToken-to-Tokenアライメントを紹介する。 この結果から,テキストから画像への埋め込み空間は,表現が適切に整列されたときにアクセス可能な連続的な意味構造を暗黙的に符号化していることがわかった。
  論文  参考訳（メタデータ） (2026-06-22T23:54:40Z)
• Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
  言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。 このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。 この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
  論文  参考訳（メタデータ） (2026-01-30T17:47:16Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• Splintering Nonconcatenative Languages for Better Tokenization [4.496923806879088]
  本稿では,テキストを線形形式に再構成する前処理ステップであるSPLINTERを提案する。 我々は、ヘブライ語、アラビア語、マレー語におけるトークン語彙を評価する本質的な尺度を用いて、そのメリットを実証する。
  論文  参考訳（メタデータ） (2025-03-18T17:11:09Z)
• From Language Models over Tokens to Language Models over Characters [54.123846188068384]
  現代の言語モデルは、$itcharacter$ stringsではなく$ittoken$ strings上の内部的、数学的に...分布である。 本稿では,トークンレベル言語モデルから文字レベル言語への変換アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-04T21:19:20Z)
• Tokenization as Finite-State Transduction [24.19959327497118]
  正規言語の全てのトークン化を効率的にエンコードできる有限状態フレームワークを導入する。 そのByte-Pairを示します。 Match(BPE)とMaxPiece(WordPiece)がこのフレームワークに適合する。 これの応用は、あるパターンにマッチするように言語モデルの出力を制約するガイド付き生成である。
  論文  参考訳（メタデータ） (2024-10-21T07:10:07Z)
• Egalitarian Language Representation in Language Models: It All Begins with Tokenizers [0.0]
  すべてのトークンライザが、Tamil、Sinhala、Hindiといった複雑なスクリプト言語に対して公正な表現を提供するわけではないことを示す。 本稿では,Grapheme Pair と呼ばれるグラフエムを組み込むことにより,Byte Pair アルゴリズムの改良を提案する。 実験の結果, 文字抽出は複雑なスクリプトに対して, バイトレベルのトークン化器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-17T19:05:37Z)
• Lexinvariant Language Models [84.2829117441298]
  離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある 我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。 十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-24T19:10:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。