論文の概要: GlitchPatch: Repairing Glitch Tokens in Frozen Language Models via Local Retokenization

• arxiv url: http://arxiv.org/abs/2610.04399v1
• Date: Sat, 03 Oct 2026 09:44:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 10:51:04.220822
• Title: GlitchPatch: Repairing Glitch Tokens in Frozen Language Models via Local Retokenization
• Title（参考訳）: GlitchPatch: 局所再学習による凍結言語モデルにおけるGlitchトークンの修復
• Abstract要約: グリッチトークンは異常な語彙のエントリであり、大きな言語モデルが一貫性のない出力を生成する可能性がある。 GlitchPatchは,局所的再トークン化に基づくフリーズ言語モデルの修復フレームワークである。 6つのトークンライザファミリーにまたがる10モデルの実験では、GlitchPatchの平均固定率は85.10%であり、最強のベースラインを14.37ポイント上回っている。
• 参考スコア（独自算出の注目度）: 52.5302018047534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Glitch tokens are anomalous vocabulary entries that can cause large language models (LLMs) to produce outputs inconsistent with their inputs. Existing repair methods require access to model internals, making them impractical for frozen checkpoints. We investigate whether glitch tokens can be repaired outside the model by optimizing the input tokenization. An empirical study on BPE merge-rule deletion reveals that (1)deleting a glitch token's merge rule can fix a substantial fraction of failures, yet disrupting normal tokens sharing intermediate merge nodes causes the overall glitch rate to rise, and (2)different decomposition granularities yield non-monotonic fix rates while collateral damage on normal tokens grows monotonically. Motivated by these findings, we propose GlitchPatch, a repair framework for frozen language models based on local retokenization, consisting of two stages: the offline stage uses Behavioral Path Optimization (BPO) to find the behaviorally optimal replacement token sequence for each glitch token and compiles validated replacements into a rule table; the online stage substitutes only the IDs of matched glitch tokens in the canonical token sequence, with no modification to model parameters or internal states. Experiments on ten models spanning six tokenizer families show that GlitchPatch achieves an 85.10% mean fix rate, outperforming the strongest baseline by 14.37 percentage points, and reduces the average glitch rate from 14.88% to 2.27%. GlitchPatch achieves a 0.00% RR in full-vocabulary evaluation and leaves rule-unmatched inputs unchanged by design. We further evaluate the practical impact of repair from the perspectives of time cost, language understanding, and capability, supporting its deployment feasibility. We hope this work provides a practical option for improving tokenizer reliability.
• Abstract（参考訳）: グリッチトークン(英: Glitch tokens)は、大きな言語モデル(LLM)が入力と矛盾しない出力を生成するような、異常な語彙のエントリである。 既存の修復方法はモデル内部へのアクセスを必要とするため、凍結したチェックポイントには実用的ではない。 入力トークン化を最適化することにより,グリッチトークンをモデル外で修復できるかどうかを検討する。 A empirical study on BPE merge-rule deletion showed that (1) deleting a glitch token's merge rule can be fixed some fraction of failure, while disrupting normal tokens sharing intermediate merge nodes caused the overall glitch rate, and (2)different decomposition grainities yield non-monotonic fix rate while collateral damage on normal tokens increased monotonically。 オフラインステージでは,各グリッチトークンに対して動作に最適な置換トークンシーケンスを探索し,検証済み置換トークンをルールテーブルにコンパイルする。オンラインステージでは,一致するグリッチトークンのIDのみを標準トークンシーケンスに置換し,モデルパラメータや内部状態を変更することなく,ローカル再起動に基づくフリーズ言語モデルの修復フレームワークであるGlitchPatchを提案する。 6つのトークンライザファミリーにまたがる10モデルの実験では、GlitchPatchの平均固定率は85.10%で、最強のベースラインを14.37ポイント上回り、平均グリッチレートを14.88%から2.27%に下げている。 GlitchPatchは完全な語彙評価において0.00%のRRを達成し、規則にマッチしない入力は設計によって変更されない。 さらに, 時間的コスト, 言語理解, 能力の観点から, 補修の実践的影響を検証し, その展開可能性について検討する。 この作業がトークンライザの信頼性を改善するための実用的なオプションを提供してくれることを願っています。

関連論文リスト

• Know When to Hold 'em: Correct-Token Retention in Uniform-State Diffusion Language Models [8.078979702939845]
  自己訂正には不正トークンの修正と正しいトークンの保持の両方が必要である。 提案するCTR-Reg(Correct-Token Retention Regularization, CTR-Reg)は,前処理で未成熟なトークンの保持をモデルに指示する簡易かつ効果的な補助的損失である。 本研究は, 自己修正拡散言語モデルに欠落する重要な要素として, 正解保持を同定し, 有効性を示すものである。
  論文  参考訳（メタデータ） (2026-10-01T08:13:50Z)
• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• GRIFFIN: Effective Token Alignment for Faster Speculative Decoding [33.26750782762635]
  GRIFFINは、トークン指向のトレーニング戦略とトークン指向のドラフトモデルを組み込んだ、新しいフレームワークである。 LLaMA, Vicuna, Qwen, Mixtral モデルを用いた実験では, GRIFFIN が平均受容長 8% 以上, スピードアップ比 7% 以上を達成している。
  論文  参考訳（メタデータ） (2025-02-16T07:06:00Z)
• GlitchMiner: Mining Glitch Tokens in Large Language Models via Gradient-based Discrete Optimization [10.233446430630023]
  大規模言語モデル(LLM)における予測不可能または異常な振る舞いをトリガーするGlitchトークンは、信頼性と安全性をモデル化する上で大きな課題となる。 GlitchMinerは,予測エントロピーの最大化により,グリッチトークンを識別する動作駆動型フレームワークである。
  論文  参考訳（メタデータ） (2024-10-19T09:49:12Z)
• GlitchProber: Advancing Effective Detection and Mitigation of Glitch Tokens in Large Language Models [17.633722815221983]
  大規模言語モデル(LLM)は、自然言語処理の分野で前例のない成功を収めた。 最近の研究では、モデルの語彙空間に異常トークンのクラスを発見し、それらを「グリッチトークン」と名付けた。 本研究では,グリッチトークンの理解を深め,その検出と緩和のための手法を提案する。
  論文  参考訳（メタデータ） (2024-08-09T07:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。