論文の概要: Byte Language Models: Scaling, Emergent Abstractions, and Information Allocation

• arxiv url: http://arxiv.org/abs/2610.05978v1
• Date: Mon, 05 Oct 2026 08:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:44:01.993379
• Title: Byte Language Models: Scaling, Emergent Abstractions, and Information Allocation
• Title（参考訳）: バイトコードモデル:スケーリング、創発的抽象化、情報割り当て
• Abstract要約: トークンフリー言語モデルは、テキストを直接バイトとしてモデル化することで固定トークンの帰納バイアスを除去する。 我々は、この追加計算が有用かどうか、およびトークン化が提供する抽象化を標準トランスフォーマーが学べるかどうかを問う。
• 参考スコア（独自算出の注目度）: 14.955574172581082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tokenizer-free language models remove the inductive bias of fixed tokenizers by modeling text directly as bytes, but the resulting longer sequences substantially increase computation and eliminate explicit text abstractions. We ask whether this additional computation can be useful, and whether standard Transformers can learn the abstractions that tokenization provides. We study these questions on Transformers without specialized tokenization-related architectures. With token-superposition training and hash embeddings, byte Transformers consistently outperform subword Transformers as model size scales. We further find that byte Transformers build local text abstractions as external tokenizers: a set of segmentation-like positions are used to collect local context representations, and restricting up to $25\%$ of intermediate layers to these local representations preserves downstream performance. Finally, these learned structures induce highly non-uniform generation difficulty, with uncertainty concentrated near local structure boundaries; exploiting them for speculative decoding yields $3.4\times$ more accepted tokens than in subword Transformers.
• Abstract（参考訳）: トークンフリー言語モデルでは、テキストを直接バイトとしてモデル化することで固定トークンの帰納バイアスを除去するが、結果としてより長いシーケンスによって計算が大幅に増加し、明示的なテキスト抽象化が排除される。 我々は、この追加計算が有用かどうか、およびトークン化が提供する抽象化を標準トランスフォーマーが学べるかどうかを問う。 本稿では,トークン化関連アーキテクチャを含まないトランスフォーマーについて検討する。 トークン重畳トレーニングとハッシュ埋め込みにより、バイトトランスフォーマーはモデルサイズスケールとして一貫してサブワードトランスフォーマーを上回ります。 セグメンテーションのような位置の集合は、ローカルコンテキスト表現の収集に使用され、これらのローカル表現に最大25 %の中間層を制限することで、下流のパフォーマンスが保たれる。 最後に、これらの学習された構造は、局所的な構造の境界付近に不確実性が集中した非常に一様でない生成困難を生じさせ、投機的復号化のためにそれらを利用すると、サブワード変換器よりも3.4\times$以上のトークンが受け入れられる。

関連論文リスト

• Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models [3.382910438968506]
  トークン化は自然言語処理の基本的なステップであり、テキストを計算モデルが処理できる単位に分割する。 文字レベルと単語レベルの処理を組み合わせた自己回帰型言語モデリングのための階層的アーキテクチャについて検討する。 我々は、70億のパラメータをスケールして、階層変換器がサブワードトケナイザベースのモデルの下流タスク性能と一致することを実証する。
  論文  参考訳（メタデータ） (2025-01-17T17:51:53Z)
• Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding [32.01426831450348]
  因果マスキングと開始トークンによってトランスフォーマーは階層構造内の位置情報と深さを計算することができることを示す。 位置エンコーディングのないトランスフォーマーは階層型言語を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-10-16T09:56:01Z)
• Efficient Transformers with Dynamic Token Pooling [11.28381882347617]
  言語モデルに動的プール機構を組み、セグメント境界を自己回帰的に予測する。 その結果、動的プーリングはバニラ変換器よりも高速かつ高精度であることがわかった。
  論文  参考訳（メタデータ） (2022-11-17T18:39:23Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
  トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。 本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。 言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
  論文  参考訳（メタデータ） (2020-02-21T16:37:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。