論文の概要: Emergent retokenization symmetry in large language models: phenomenology and applications
- arxiv url: http://arxiv.org/abs/2606.15521v1
- Date: Sun, 14 Jun 2026 00:38:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.672543
- Title: Emergent retokenization symmetry in large language models: phenomenology and applications
- Title（参考訳）: 大規模言語モデルにおける創発的再トークン化対称性:現象学とその応用
- Abstract要約: 我々はプロンプトの標準トークン化を、そのバイトを正確に保存しながら、代替セグメンテーションに置き換える。
我々は、事前学習と後学習にまたがる意味的に同一の入力表現に対する感度と堅牢性を研究するために、再学習を用いる。
この再帰的サンプリング戦略は, 簡単な問題に対して性能を損なう可能性があるが, 従来のサンプリングでは見つからない解の回収も可能である。
- 参考スコア（独自算出の注目度）: 3.055499449876386
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tokenization introduces representational redundancy: under a fixed token vocabulary, every byte string admits many valid token encodings, or segmentations, that decode to the same surface string. However, given a prompt, most language model tokenizers break this representational symmetry by returning a canonical segmentation. Training only on canonical segmentations should influence inference behavior, and there is little reason to expect models to respect segmentation symmetry on downstream tasks. We find that this symmetry partially emerges during training. Here, we probe this emergent symmetry through experiments testing token compositional understanding, representation diversity, and task focused benchmark performance. We primarily use \textbf{retokenization} -- replacing a prompt's canonical tokenization with an alternative segmentation while preserving its bytes exactly. Relative to other prompt perturbations, retokenization is unusually clean because it isolates segmentation effects without changing syntax, semantics or surface form. We use retokenization to study sensitivity and robustness to semantically identical input representations across pretraining and post-training. Moreover, this partial retokenization symmetry suggests a distinct inference-time sampling axis. While temperature sampling generates diverse outputs from the model using its next-token probability distribution, retokenization generates diversity from the model's internal computations through semantically equivalent input representations. We find that while this retokenization sampling strategy can hurt performance on easy problems, it can also recover solutions that conventional sampling does not find. Overall, our work presents retokenization as a simple yet powerful probe of large language models, shedding light on compositional understanding and prompt sensitivity, and offering a novel sampling strategy.
- Abstract（参考訳）: トークン化は表現の冗長性を導入し、固定されたトークン語彙の下で、すべてのバイト文字列は、同じ表面文字列にデコードする多くの有効なトークンエンコーディングまたはセグメンテーションを許可する。
しかし、プロンプトが与えられた場合、ほとんどの言語モデルトークンーザは標準セグメンテーションを返すことによってこの表現対称性を破る。
標準セグメンテーションのみのトレーニングは推論行動に影響を与えるはずであり、下流タスクにおいてセグメンテーション対称性を尊重するモデルを期待する理由はほとんどない。
この対称性は、トレーニング中に部分的に現れる。
本稿では、トークン構成理解、表現の多様性、タスク中心ベンチマーク性能の実験を通して、この創発対称性を探索する。
主に 'textbf{retokenization} -- プロンプトの標準トークン化を、そのバイトを正確に保存しながら、代替セグメンテーションに置き換える。
他の急激な摂動とは対照的に、構文、意味論、表面形式を変えることなくセグメンテーション効果を分離するため、再起動は異常にクリーンである。
我々は、事前学習と後学習にまたがる意味的に同一の入力表現に対する感度と堅牢性を研究するために、再学習を用いる。
さらに、この部分再帰対称性は、異なる推測時間サンプリング軸を示唆している。
温度サンプリングは次の確率分布を用いてモデルから多様な出力を生成するが、再帰化は意味論的に等価な入力表現を通じてモデルの内部計算から多様性を生成する。
この再帰的サンプリング戦略は, 簡単な問題に対して性能を損なう可能性があるが, 従来のサンプリングでは見つからない解の回収も可能である。
全体として、我々の研究は、大規模な言語モデルの単純かつ強力なプローブとして再トークン化を示し、構成的理解と迅速な感度に光を当て、新しいサンプリング戦略を提供する。
関連論文リスト
- LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。
本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。
実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
論文 参考訳（メタデータ） (2026-02-04T16:19:05Z) - Say Anything but This: When Tokenizer Betrays Reasoning in LLMs [0.7162422068114824]
大規模言語モデル (LLMs) は、離散トークンIDシーケンスを推論する。
現代のサブワードトークンーは、非特異なエンコーディングを日常的に生成する。
トークン化は,一対多のトークンIDマッピングを通じてLCM推論を裏切ることができることを示す。
論文 参考訳（メタデータ） (2026-01-21T05:09:09Z) - Training Language Models with homotokens Leads to Delayed Overfitting [2.531076482407163]
サブワードトークン化は、多くの異なるトークンシーケンスが同じ表面形式にデコードされ、意味を保存する言語モデルにおける計算層を導入している。
我々は、データ拡張の厳密な意味保存形式として、ホモトケンを定式化する。
データ制約付き事前トレーニングでは、ホモトケン強化は繰り返しデータ露光下でのオーバーフィッティングを継続的に遅らせる。
多言語微調整では、ホモトケンの有効性はトークン化器の品質に依存する。
論文 参考訳（メタデータ） (2026-01-06T09:57:00Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳（メタデータ） (2025-06-23T18:02:26Z) - Sampling from Your Language Model One Byte at a Time [82.71473348639489]
トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。
BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。
提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
論文 参考訳（メタデータ） (2025-06-17T02:37:04Z) - Language Models over Canonical Byte-Pair Encodings [56.09166157337198]
トークンレベルの言語モデルにおいて、正準性を強制する手法を提案する。
正則性ミスの修正は,いくつかのモデルやコーパスの保持データの可能性を向上させることを示す。
論文 参考訳（メタデータ） (2025-06-09T17:26:14Z) - Canonical Autoregressive Generation [17.065618029171766]
大規模言語モデルが必ずしも標準トークンシーケンスを生成するとは限らないことを示す。
非正準トークン列の生成を阻害する簡易かつ効率的なサンプリング手法であるカノニカルサンプリングを導入する。
論文 参考訳（メタデータ） (2025-06-06T18:09:10Z) - Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。
本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。
提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
論文 参考訳（メタデータ） (2025-03-20T17:59:59Z) - Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。
そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
論文 参考訳（メタデータ） (2025-02-05T15:33:00Z) - TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。
TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。
また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文 参考訳（メタデータ） (2024-05-27T05:45:51Z) - On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。
改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。
我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
論文 参考訳（メタデータ） (2021-10-15T21:41:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。