論文の概要: Tokenizer Tokens Tell Training Tales

• arxiv url: http://arxiv.org/abs/2610.39919v1
• Date: Thu, 29 Oct 2026 12:25:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:18:39.124116
• Title: Tokenizer Tokens Tell Training Tales
• Title（参考訳）: トケナイザー トケナイザー トケナイザー トケナイザー トケナイザー トケナイザー トケ
• Abstract要約: 候補データセットがトレーニングコーパスの一部であったかどうかをBPEトークンーが明らかにできるかどうかを問う。 希少な文字列は、十分なコーパス周波数がマージしきい値を超えるとトークンになる。 我々はこれをBPE包摂のしきい値モデルで定式化する。 我々はこの見解を、希少質量をシャドートークン化剤で校正するRTAM-Fusionとみなす。
• 参考スコア（独自算出の注目度）: 10.269961654607108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tokenizers are usually treated as fixed preprocessing tools, but they are trained on text and can retain traces of that text in their vocabularies. We ask whether a BPE tokenizer can reveal if a candidate dataset was part of its training corpus. The key observation is simple. Rare strings become tokens only when enough corpus frequency pushes them over the merge threshold. This suggests that membership signal should appear in rare tokens used by the candidate dataset, rather than in the order in which merges were made. We formalize this under a threshold model of BPE inclusion, showing that the likelihood-ratio test assigns its largest weights to tokens that are rare in the background but frequent in the candidate dataset. The same model suggests that merge rank and merge-graph position should not add a first-order membership signal once token existence and dataset frequency are known. We instantiate this view as RTAM-Fusion, which calibrates rare-token mass with shadow tokenizers and combines signals across rarity levels. On the tokenizer membership benchmark, RTAM-Fusion improves AUC and balanced accuracy over Vocabulary Overlap while using fewer shadow tokenizers. Existing defenses also continue to leak membership signal against adaptive attackers at production vocabulary sizes. Code: https://anonymous.4open.science/r/RTAM-Fusion-F7EE/
• Abstract（参考訳）: トケナイザーは通常、固定された前処理ツールとして扱われるが、テキストで訓練され、そのテキストの痕跡を語彙に残すことができる。 候補データセットがトレーニングコーパスの一部であったかどうかをBPEトークンーが明らかにできるかどうかを問う。 重要な観察は単純です。 希少な文字列は、十分なコーパス周波数がマージしきい値を超えるとトークンになる。 これは、メンバーシップ信号がマージされた順序ではなく、候補データセットで使われるまれなトークンに現れることを示唆している。 我々は、これをBPE包摂のしきい値モデルで定式化し、確率比テストは、背景に稀だが候補データセットでは頻繁なトークンに最大の重みを割り当てることを示した。 同じモデルでは、マージランクとマージグラフの位置がトークンの存在とデータセットの頻度が分かっていれば、一階のメンバシップ信号を追加するべきではないことを示唆している。 RTAM-Fusionは希少質量をシャドウトークン化剤と校正し、希少レベルの信号を結合する。 トークン化者メンバシップベンチマークでは、RTAM-Fusionは、より少ないシャドートークン化子を使用しながら、AUCとVocabulary Overlapの精度を向上する。 既存の防衛は、プロダクションの語彙サイズでアダプティブアタックに対して、メンバーシップシグナルを漏洩し続けている。 コード:https://anonymous.4open.science/r/RTAM-Fusion-F7EE/

関連論文リスト

• Rethinking Soft Tokens for Parallel Decoding in Diffusion Language Models [62.63931587313321]
  拡散言語モデル(DLMs)は、各段階で複数のトークンを予測してコミットすることで並列生成を可能にする。 最近の研究は、emphsoftトークンが不確実な位置を表すことによってこの問題を緩和できることを示している。 ソフトトークンフィードバックが並列デコードをどのように改善するかは、体系的に検討されていない。
  論文  参考訳（メタデータ） (2026-09-29T12:38:30Z)
• Can Released LLM Vocabularies Support Token-Level Estimation of Hidden Corpora? [43.96699318814863]
  まず、異なるコーパスで訓練されたBPEトークンーが安定なトークンID-分布を共有し、既知のコーパスから隠れコーパスで訓練されたターゲットトークンーへの分布伝達を動機付けていることを示す。 次に、この分布を複数の量子化傾向で近似し、局所密度重み付けを用いてトークンレベルの推定を行うQGDE(Quantile-Guided Density Estimation)を提案する。
  論文  参考訳（メタデータ） (2026-08-11T09:14:25Z)
• In-Place Tokenizer Expansion for Pre-trained LLMs [47.56305202796458]
  モデルプロデューサが設計を制御する際に、事前訓練されたモデルのトークン化器をアップグレードするためのインプレースレシピを提案する。 2段階の適応、埋め込みのみのトレーニング、それからフルモデルの事前トレーニングが継続され、ソースチェックポイントの品質が回復する。 拡張されたトークンライザは、ヒンディー語とベトナム語を約2.4タイム、および2.6タイムでエンコードする。
  論文  参考訳（メタデータ） (2026-07-16T17:32:38Z)
• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• Towards Implicit Aggregation: Robust Image Representation for Place Recognition in the Transformer Era [60.09990228573728]
  いくつかの学習可能なアグリゲーショントークンを導入し、特定のトランスフォーマーブロックの前にパッチトークンにプリコンパイルする。 これらのトークンはすべて、固有の自己認識機構を通じて、共同で処理され、世界規模で相互作用する。 提案手法は,複数のVPRデータセットにおける最先端の手法よりも効率が高く,MSLSチャレンジリーダーボードで1位にランクインする。
  論文  参考訳（メタデータ） (2025-11-08T14:35:11Z)
• Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
  大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。 それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。 我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
  論文  参考訳（メタデータ） (2025-06-07T00:51:27Z)
• Data Mixture Inference: What do BPE Tokenizers Reveal about their Training Data? [112.0422370149713]
  我々は、トレーニングデータの分布的構成を明らかにすることを目的として、データ混合推論と呼ぶタスクに取り組む。 従来見過ごされていた情報源であるバイトペアエンコーディング(BPE)トークン化器をベースとした,新たな攻撃手法を提案する。 我々は,自然言語,プログラミング言語,データソースの既知混合に基づいて訓練されたトークン化剤に対して,高い精度で混合比を回復することを示す。
  論文  参考訳（メタデータ） (2024-07-23T16:13:22Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。