論文の概要: When Tokenizers Fail: Byte-Level Chunking for Zero-Shot Transfer to Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2608.27658v1
• Date: Thu, 27 Aug 2026 19:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.135692
• Title: When Tokenizers Fail: Byte-Level Chunking for Zero-Shot Transfer to Low-Resource Languages
• Title（参考訳）: Tokenizersが失敗したとき:ローソース言語へのゼロショット転送のためのバイトレベルチャンキング
• Abstract要約: サブワードトークン化は、支配的な言語からの頻度パターンをスクリプト共有に注入することにより、低リソースの言語処理を妨げる。 バイトレベルのモデルは、raw-8文字を処理することでこの問題を回避するが、非ラテン語スクリプトでのワードレベルのタスクのミスマッチを生成する。 本稿では,このモダリティギャップを広範囲のトレーニングなしに橋渡しする階層型ネットワークフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.201667849149864
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Subword tokenization hinders low-resource language processing by imposing frequency patterns from dominant languages onto script-sharing variants. Byte-level models bypass this issue by processing raw UTF-8 characters, yet they create a granularity mismatch for word-level tasks in non-Latin scripts. Hierarchical byte-level architectures address this mismatch by grouping bytes into word-aligned chunks. However, these architectures require massive training data and suffer from representational misalignment when paired with frozen subword-based language models. In this paper, we propose an adapted hierarchical network framework that bridges this modality gap without extensive training. Our method initializes byte embeddings directly from the subword representations of a frozen base model. We apply a chunk alignment loss to project dynamically grouped byte chunks toward precomputed subword targets, and interleave lightweight part-of-speech (POS) supervision to guide boundary detection. Experiments across six languages demonstrate that our tokenizer-free approach improves performance for word-level morphological tasks, yielding up to a 13.3% improvement on POS tagging.
• Abstract（参考訳）: サブワードトークン化は、支配的な言語からスクリプト共有の亜種に周波数パターンを付与することで、低リソースの言語処理を妨げる。 バイトレベルのモデルは、生のUTF-8文字を処理することでこの問題を回避するが、非ラテン語スクリプトにおけるワードレベルのタスクの粒度のミスマッチを生成する。 階層的なバイトレベルのアーキテクチャは、バイトをワード整合チャンクにグループ化することで、このミスマッチに対処する。 しかし、これらのアーキテクチャは大量のトレーニングデータを必要とし、凍結したサブワードベースの言語モデルと組み合わせると表現上のミスアライメントに悩まされる。 本稿では,このモダリティギャップを広範囲のトレーニングなしに橋渡しする階層型ネットワークフレームワークを提案する。 凍結ベースモデルのサブワード表現から直接バイト埋め込みを初期化する。 本研究では,事前に計算したサブワードターゲットに対して動的にグループ化されたバイトチャンクを投影するためにチャンクアライメントロスを適用し,境界検出を誘導する軽量部分音声監視(POS)をインターリーブする。 6言語にまたがる実験により,トークン化不要な手法により単語レベルの形態的タスクのパフォーマンスが向上し,最大13.3%のPOSタグ付けの改善が達成された。

関連論文リスト

• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Enhancing Robustness of Autoregressive Language Models against Orthographic Attacks via Pixel-based Approach [51.95266411355865]
  自己回帰言語モデルは、正書法攻撃に弱い。 この脆弱性は、サブワードトークン化器とその埋め込みに固有の語彙外問題に起因している。 本稿では,単語を個々の画像としてレンダリングすることで,テキストベースの埋め込みをピクセルベースの表現に置き換える,画素ベースの生成言語モデルを提案する。
  論文  参考訳（メタデータ） (2025-08-28T20:48:38Z)
• ByteSpan: Information-Driven Subword Tokenisation [2.4723044036055306]
  トレーニング中に外部バイトレベルLMを用いて、連続した予測可能なバイト列を識別する情報駆動型サブワードトークンであるByteSpanを提案する。 実験により、ByteSpanは英語のBPEよりも高い形態的アライメントスコアを持つ効率的な語彙が得られることが示された。
  論文  参考訳（メタデータ） (2025-06-23T13:42:00Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models [3.382910438968506]
  トークン化は自然言語処理の基本的なステップであり、テキストを計算モデルが処理できる単位に分割する。 文字レベルと単語レベルの処理を組み合わせた自己回帰型言語モデリングのための階層的アーキテクチャについて検討する。 我々は、70億のパラメータをスケールして、階層変換器がサブワードトケナイザベースのモデルの下流タスク性能と一致することを実証する。
  論文  参考訳（メタデータ） (2025-01-17T17:51:53Z)
• MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
  マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。 適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:59:21Z)
• Local Byte Fusion for Neural Machine Translation [19.16966721276286]
  サブワードトークン化スキームは、現在のNLPモデルで使用される主要なテクニックである。 バイトベースのメソッド、すなわちバイトシーケンスへのトークン化は代替手段である。 多言語翻訳、ゼロショット交叉変換、ドメイン適応の実験は、従来のモデルよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-05-23T17:49:02Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• Neural Machine Translation without Embeddings [44.129310924201604]
  多くのNLPモデルは、手作りのトークン化規則とサブワード誘導アルゴリズムによって生成されるサブワードトークンのシーケンス上で動作する。 単純な普遍的な代替手段は、すべてのコンピュータ化されたテキストを8バイトのバイト列として表現することである。 英語から10の異なる言語へのバイトバイト機械翻訳の実験では、BLEUの一貫性が向上し、文字レベルや標準のサブワードレベルモデルに匹敵する結果となった。
  論文  参考訳（メタデータ） (2020-08-21T09:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。