論文の概要: Nameless Tokenization: A Lossless Tokenizer-Level Defense Against Control-Token Forgery in Open-Weight LLMs

• arxiv url: http://arxiv.org/abs/2609.16984v1
• Date: Tue, 15 Sep 2026 11:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.464026
• Title: Nameless Tokenization: A Lossless Tokenizer-Level Defense Against Control-Token Forgery in Open-Weight LLMs
• Title（参考訳）: 無名トークン化 - オープンウェイトLDMにおける制御トークン偽造に対する無名トークン化-
• Abstract要約: オープンウェイトな言語モデルは、チャットテンプレートを使用して、ターン、ロール、ツール結果を示す文字列をパブリッシュする。 したがって、プロンプトでテキストを制御する人は、サービススタックが書いたものと区別できないターン境界を書くことができる。 制御エントリに予約された識別子を残さず、サーフェス文字列を含まない無名トークン化を提案する。
• 参考スコア（独自算出の注目度）: 18.27640770574978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-weight language models publish the strings their chat templates use to mark turns, roles and tool results, which the tokenizer maps back to the reserved identifiers the model obeys. Anyone who controls text in a prompt can therefore write a turn boundary indistinguishable from one the serving stack wrote. We audit 256 deployed chat tokenizers. All are forgeable, and the flag usually recommended as a fix leaves 56.6% forgeable because it misses the tool and reasoning markers agent systems rely on. We propose nameless tokenization, which leaves the control entries with a reserved identifier and no surface string, so the content encoder cannot emit one and message content reaches the model unaltered. Across five tokenizer families it reproduces the standard token stream exactly on attack-free data and lifts accuracy on a probe of delimiter-bearing text from 8.5% to 59.9%, where sanitizers lose it. Separating a delimiter's appearance from its identifier shows the identifier matters little against a bare task instruction, but carries most of a forged tool result and most of any forged turn once the system message tells the model to treat user content as data.
• Abstract（参考訳）: オープンウェイトな言語モデルは、ターン、ロール、ツール結果を示すためにチャットテンプレートを使用する文字列を公開します。 したがって、プロンプトでテキストを制御する人は、サービススタックが書いたものと区別できないターン境界を書くことができる。 256のデプロイされたチャットトークンを監査します。 すべて偽造可能であり、通常フラグは56.6%の偽造が推奨される。 制御エントリを予約識別子に残し、サーフェス文字列を含まないため、コンテンツエンコーダは1つを出力できず、メッセージコンテンツは未修正のモデルに到達する。 5つのトークンライザファミリーで、標準的なトークンストリームをアタックフリーのデータで正確に再現し、8.5%から59.9%までデリミター付きテキストのプローブで精度を上昇させ、サニタイザはそれを失う。 識別子からデリミタの外観を分離すると、識別子は素のタスク命令に対してはほとんど重要でないが、システムメッセージがモデルにユーザーコンテンツをデータとして扱うように指示すると、偽装されたツール結果と偽造されたターンのほとんどを運ぶ。

関連論文リスト

• Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors [0.0]
  インジェクション攻撃から言語モデルを保護する方法を示す。 モデルを保護するためにセマンティックオーバーレイと呼ばれるテクニックを使用します。 スパンを"実行不可能"とマークしたオーバーレイは、幅広いプロンプトインジェクションのクラスに対して防御する。
  論文  参考訳（メタデータ） (2026-08-24T22:26:58Z)
• DHMark: Public-Key Watermarking for LLM-Generated Text via Diffie-Hellman-Guided Rejection Sampling [3.785115615093019]
  DHMarkは、大規模言語モデル(LLM)生成テキストのための公開鍵透かしフレームワークである。 生成中、ディフィー・ヘルマン誘導トークンラベルインターフェースは、各候補トークンに公開方程式投票を割り当てる。 第三者の検証者は、公開情報を使ってトークンの投票を抽出し、それらを方程式レベルの証拠に集約し、署名された登録記録のみをスコアする。
  論文  参考訳（メタデータ） (2026-08-04T04:08:40Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Resilient Write: A Six-Layer Durable Write Surface for LLM Coding Agents [0.0]
  レジリエント・ライト(Resilient Write)は、エージェントとサーバの間に6層の耐久性のある書き込みサーフェスを介するMPPサーバである。 各レイヤは、2026年4月の実際のエージェントセッションで観測された具体的な障害モードにマップされる。 186-testスイートは各層での正当性を検証し、エージェントの自己補正率を13倍改善する。
  論文  参考訳（メタデータ） (2026-04-12T22:23:55Z)
• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• Say Anything but This: When Tokenizer Betrays Reasoning in LLMs [0.7162422068114824]
  大規模言語モデル (LLMs) は、離散トークンIDシーケンスを推論する。 現代のサブワードトークンーは、非特異なエンコーディングを日常的に生成する。 トークン化は,一対多のトークンIDマッピングを通じてLCM推論を裏切ることができることを示す。
  論文  参考訳（メタデータ） (2026-01-21T05:09:09Z)
• Data Provenance Auditing of Fine-Tuned Large Language Models with a Text-Preserving Technique [36.96848724920411]
  我々は、見えないUnicode文字を文書に埋め込むテキスト保存型透かしフレームワークを導入する。 我々は50の文書を微調整した後の応答を検出する際に0.1%未満の失敗率を実験的に観察した。 100%TPR@0% FPRに対応する18,000以上の課題において、突発的な回答は得られなかった。
  論文  参考訳（メタデータ） (2025-10-07T08:34:08Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Watermarking Language Models for Many Adaptive Users [47.90822587139056]
  証明可能な保証付き言語モデルの透かし方式について検討する。 モデル生成テキストを個々のユーザに対してトレース可能なマルチユーザ透かしを導入する。 検出不能なChrist, Gunn, Zamir (2024) のゼロビットスキームが適応的に堅牢であることを証明する。
  論文  参考訳（メタデータ） (2024-05-17T22:15:30Z)
• SciAnnotate: A Tool for Integrating Weak Labeling Sources for Sequence Labeling [55.71459234749639]
  SciAnnotateはSciAnnotateという名前のテキストアノテーションのためのウェブベースのツールで、科学的なアノテーションツールを指す。 我々のツールは、弱いラベルを作成するために複数のユーザフレンドリーなインターフェースを提供する。 本研究では,Bertifying Conditional Hidden Markov Modelを用いて,ツールが生成する弱いラベルを識別する手法を提案する。
  論文  参考訳（メタデータ） (2022-08-07T19:18:13Z)
• A Token-level Reference-free Hallucination Detection Benchmark for Free-form Text Generation [50.55448707570669]
  本稿ではトークンレベルの参照なし幻覚検出タスクとHaDesというアノテーション付きデータセットを提案する。 このデータセットを作成するために、まず英語のウィキペディアから抽出された大量のテキストセグメントを摂り込み、それからクラウドソースアノテーションで検証する。
  論文  参考訳（メタデータ） (2021-04-18T04:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。