論文の概要: One Byte, One Token: Byteifying a 27B Hybrid-Attention LLM with Self-Generated Data
- arxiv url: http://arxiv.org/abs/2611.13607v2
- Date: Thu, 12 Nov 2026 11:34:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.904007
- Title: One Byte, One Token: Byteifying a 27B Hybrid-Attention LLM with Self-Generated Data
- Title(参考訳): 1バイト, 1トークン: 自己生成データによる27BハイブリッドアテンションLDMのバイト化
- Abstract要約: バイトレベルのBPEは中国語のテキスト(中国語のウィキペディアではQwen3.8、平均3.84バイト、トークンの64%はシングル文字)を断片化し、モデルのスペルを隠している。
我々は語彙を248,320から384エントリに縮小し、他のすべてのウェイトを無傷で残し、教師付きバイト4.77GBの2段階のカリキュラム(まずエンコードし、次に読む)でトレーニングを続けます。
コストはスループットです。ステップ毎の速度は同じですが、各ステップで出力が3~5倍減少し、1秒あたりの漢字が元の1/4、64Kバイトのプリフィルが6.5です。
- 参考スコア(独自算出の注目度): 1.8012666291588018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Byte-level BPE fragments Chinese text (for Qwen3.8 on Chinese Wikipedia, 3.84 bytes per token on average; 64% of tokens are single characters) and hides spelling from the model. We ask whether an already-trained 27B subword model can be converted directly into a pure byte-level model (one byte, one token), without a patching structure or a local encoder, while keeping most of its ability. Starting from Qwen3.8-27B (48 Gated DeltaNet layers + 16 full-attention layers), we shrink the vocabulary from 248,320 to 384 entries (the 256 byte symbols already in the BPE vocabulary plus special ids), leave every other weight untouched, and continue training in a two-stage curriculum (encoding first, then reading) on 4.77 GB of supervised bytes: all dialogue/behavioral supervision is generated on-policy by the original model itself (character dictionary, word dictionary, general dialogue, coding sessions), and knowledge reading uses encyclopedia text (54% of supervised bytes). Training takes 178.6 h on 8xH200. On the same GPU and serving stack, the byte model's gap to the original falls within the paired bootstrap interval on MATH-500, HumanEval+, MMLU-Pro and non-thinking GSM8K, and it loses 4-6 points on C-Eval, thinking-mode GSM8K and non-thinking IFEval. Without thinking it leads on every character-level task (CUTE 75.2 -> 84.0, EXECUTE-zho 81.6 -> 93.9, our Chinese character suite 54.4 -> 64.0), but lookup knowledge about Chinese characters such as pronunciation and stroke count drops, and thinking does not recover it. The cost is throughput: per-step speed is identical, but each step yields 3-5x less output; Chinese characters per second is about 1/4 of the original, and prefill at 64K bytes is 6.5x slower. We also document four byte-model failure modes (greedy runaway, sampling breaking UTF-8, ineffective penalty terms on a small vocabulary, repetition) and their fixes.
- Abstract(参考訳): バイトレベルのBPEは中国語のテキスト(中国語のウィキペディアではQwen3.8、平均3.84バイト、トークンの64%はシングル文字)を断片化し、モデルのスペルを隠している。
我々は、すでに訓練済みの27Bサブワードモデルが、パッチ構造やローカルエンコーダを使わずに、純粋なバイトレベルモデル(1バイト、1トークン)に変換できるかどうかを問う。
Qwen3.8-27B (48 Gated DeltaNet layer + 16 full-attention layer) から、語彙を248,320から384エントリ(BPEの語彙と特殊IDに既に存在する256バイトのシンボル)に縮小し、他のすべてのウェイトを無傷で残し、2段階のカリキュラム(まずはエンコードし、次に読む)でトレーニングを続ける。
訓練は8xH200で178.6hである。
同じGPUとサービススタック上では、バイトモデルのオリジナルとのギャップは、MATH-500、HumanEval+、MMLU-Pro、非思考GSM8Kのブートストラップ間隔内にあり、C-Eval、思考モードGSM8K、非思考IFEvalの4-6ポイントを失う。
全ての文字レベルタスク(CUTE 75.2 -> 84.0, EXECUTE-zho 81.6 -> 93.9,我々の漢字スイート54.4 -> 64.0)を導くが、発音やストローク数などの漢字に関する検索知識は減少し、思考は回復しない。
コストはスループットであり、ステップ毎の速度は同じだが、各ステップで出力が3~5倍小さくなり、1秒あたりの漢字は元の約1/4になり、64Kバイトのプリフィルは6.5倍遅くなる。
また、4つのバイトモデル障害モード(greedy runaway, sample breaking UTF-8, in Effective penalty terms on a small vocabulary, repeatition)とそれらの修正を文書化する。
関連論文リスト
- Pearl-Chat: Engineering a native Luganda language model from first principles in JAX and Flax NNX [0.0]
我々は、低リソースのNiger-Congo Bantu言語であるLuganda (Oluganda, ISO 639-2: lg)のために設計された因果デコーダのみの変換器であるPearl-Chatを紹介する。
キュレートした Luganda corpora 上で,スクラッチからトレーニングしたサブワードトークンをバイト単位のバイトペアで符号化する手法を提案する。
Pearl-Chat は LLaMA-3 (128K) と Gemma (256K) の2倍の圧縮改善により、トークン圧縮当たり4.88文字、ワード肥大度当たり 1.60 トークンを実現している。
論文 参考訳(メタデータ) (2026-10-15T18:22:15Z) - Share the Symbol, Not the Vector: Training-Free Fact Communication Across Language Models [54.6861338458609]
SynC(Symbol-Indexed Neural Communication)は、微調整や学習用トランスレータなしで異種モデルを接続する。
説明だけで見ることができるので、送信者は共有リストから単語を選択し、質問を見ることなく各オブジェクトに対してインデックスを送信する。
本研究は,共有語指標とレシーバローカルな指示が,モデルファミリ間の選択的事実利用を,追加の訓練を伴わずに支援できることを示す。
論文 参考訳(メタデータ) (2026-10-14T07:19:43Z) - Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility [0.0]
バグダスクリプトでは、母音は結合マークとして書かれており、このパターンは各母音記号でそれぞれの単語を分割する。
BPEはプレトーケン内でのみマージするため、これらの分割は語彙サイズやコーパス構成に関係なくトレーニングを通じて持続する。
平行コーパスから26の言語にまたがって、17のバグダのうち1つが影響を受けており、それらは1.47倍(チベット語)から9.02倍(タイ語)まで様々である。
5つの言語では、この文字クラスでのみ異なる一致するトークン化器ペアが予測フロアの2.2%以内に落ち、ネパール語では1語当たりのトークンが4.78、ネパール語では1.58である。
論文 参考訳(メタデータ) (2026-08-26T22:56:24Z) - Token-Native Storage: Read and Write in your Agent's Language [0.0]
我々は、テキストのトークンネイティブ保存を、モデル独自のバイトペアエンコーディング(BPE)トークンIDとして論じる。
BPE番号トークンは周波数ではなく順にマージし、周波数ごとに再ランク付けすることで、通常の整数(ストリームvバイト)がエントロピーコーダの比率のほとんどを回復できる。
モデルはテキストではなくトークンIDを読み取るため、トークンネイティブストアは、読み取り毎に再起動するのではなく、IDを直接操作する。
論文 参考訳(メタデータ) (2026-08-03T15:20:36Z) - pico-type: A 1.5M-Parameter Byte-Level Multi-Head Content Classifier [0.0]
pico-typeはバイトレベルのマルチヘッドコンテンツ分類システムである。
同時に、raw-8バイトから7つのコンテンツ特性を1つのフォワードパスで予測する。
このアーキテクチャは、学習されたバイトの埋め込み、3つの畳み込みブロックと、成長する受容場、回転位置エンコーディングを持つ2つの双方向の注意層と、7つのマトリオシカスタイルの分類ヘッドを供給している統計プール層を組み合わせている。
4つのネクタイ付き変種(tiny/small/base/pro)は、16から576次元のスライスされた表現で同じトランクを共有し、210KB未満のONNXエクスポートと10ms以下のCPU推論を生成する。
論文 参考訳(メタデータ) (2026-07-31T12:20:03Z) - From Bytes to Ideas: Language Modeling with Autoregressive U-Nets [49.16552366851748]
トークン化は入力テキストに一定の粒度を課す。
オートレグレッシブなU-Netを導入し、トレーニング中に独自のトークンを埋め込むことを学びます。
論文 参考訳(メタデータ) (2025-06-17T17:55:11Z) - Sampling from Your Language Model One Byte at a Time [82.71473348639489]
トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。
BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。
提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
論文 参考訳(メタデータ) (2025-06-17T02:37:04Z) - SuperBPE: Space Travel for Language Models [103.09169510391972]
我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。
SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。
我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
論文 参考訳(メタデータ) (2025-03-17T17:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。