論文の概要: Optimal Single-History Tokenization Disambiguation for Provably Secure Linguistic Steganography
- arxiv url: http://arxiv.org/abs/2611.17091v1
- Date: Thu, 12 Nov 2026 16:54:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.558573
- Title: Optimal Single-History Tokenization Disambiguation for Provably Secure Linguistic Steganography
- Title(参考訳): 安全な言語ステレオグラフィーのための最適単史的トークン化の曖昧化
- Abstract要約: 言語学的ステガノグラフィーは、受信機が送信者のトークンを回収すると仮定するが、テキストチャネルはテキストのみを配信する。
完全サポート言語モデル間で抽出が正確である場合、単一の履歴レシーバは各ステップでプレフィックスのない候補セットに制限される。
- 参考スコア(独自算出の注目度): 6.5441899888781565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Provably secure linguistic steganography assumes that the receiver recovers the sender's tokens, but a text channel delivers only text, and ambiguous tokenizations break extraction. Existing fixes change the distribution, synchronize whole pools of tokens at a capacity that collapses with large vocabularies, or track several token histories. We prove that if extraction is exact and error-free across full-support language models, a single-history receiver is confined to a prefix-free candidate set at every step -- even if it reads the entire future text and the sender constrains later steps -- and must therefore give up the stop entropy, the entropy of deciding whether each prefix token ends there. Fixing these stop decisions on the prefix forest with shared randomness yields coin projection: a closed-form scheme that attains the bound, works with any distribution coder in one model call per token, preserves ordinary sampling, and refines SyncPool for every key. Across English, Chinese and Japanese, ambiguous text is rare (at most 11 in 1,000 tokens), yet the stop entropy at word and morpheme prefixes takes 7.2-9.0% of the entropy at every step; SyncPool's further loss comes from space and single-byte UTF-8 hubs that merge subtrees while carrying almost no stop uncertainty. Coin projection keeps 91-93% of the string entropy for the coder at every vocabulary size; with the full vocabulary, it turns 2.16-6.85 times as much entropy into message bits as SyncPool and recovers every completed message.
- Abstract(参考訳): おそらく安全な言語ステガノグラフィーは、受信機が送信者のトークンを復元すると仮定するが、テキストチャネルはテキストのみを配信し、あいまいなトークン化は抽出を破る。
既存の修正は分布を変更し、大きな語彙で崩壊するキャパシティでトークンのプール全体を同期させたり、いくつかのトークン履歴を追跡したりする。
抽出が完全サポート言語モデル全体で正確でエラーのない場合、シングルヒストリーレシーバーはすべてのステップで設定されたプレフィックスのない候補に制限される -- 将来のテキスト全体を読み込んで、送信者が後続のステップを制約しても -- そのため、各プレフィックストークンが終了するかどうかを判断するエントロピーを諦めなければならない。
境界に達したクローズドフォームスキームは、トークンごとに1つのモデルコールで任意の分散コーダと動作し、通常のサンプリングを保存し、すべてのキーに対してSyncPoolを洗練します。
英語、中国語、日本語の曖昧なテキストはまれであるが(1000枚中11枚)、単語と形態素の接頭辞の停止エントロピーは各ステップで7.2~9.0%であり、SyncPoolのさらなる損失は、サブツリーをマージするスペースと単一バイトのUTF-8ハブから生じる。
コインプロジェクションは、すべての語彙サイズでコーダの文字列エントロピーの91-93%を保持し、完全なボキャブラリでは、SyncPoolの2.16-6.85倍のエントロピーをメッセージビットに変換し、完了した全てのメッセージを復元する。
関連論文リスト
- The Functionalizer: Lossless Functional Decomposition for Subword Tokenization [0.0]
関数化は、トークン化前のコンポジションオプコード/オペンドプレフィックスストリームへの正書法と構造の変化を判断するプリトークン化フレームワークである。
自然言語とコードコーパス全体にわたって、Functionizerは制約のない排気条件下での語彙をはるかに小さくした完全なコーパスカバレッジを可能にする。
論文 参考訳(メタデータ) (2026-07-07T20:12:29Z) - ReTokSync: Self-Synchronizing Tokenization Disambiguation for Generative Linguistic Steganography [28.687186883782033]
生成言語ステガノグラフィーは、秘密メッセージを自然言語生成プロセスに埋め込むことで、秘密のコミュニケーションを可能にする。
同じ表面テキストは受信側で異なるトークンシーケンスに再トークン化され、共有復号状態が破られる。
生成中のレシーバビューのトークン化を監視し,あいまいさの発生時にのみ修正リセットをトリガーするフレームワークであるReTokSyncを提案する。
論文 参考訳(メタデータ) (2026-04-28T10:42:43Z) - Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。
このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。
この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
論文 参考訳(メタデータ) (2026-01-30T17:47:16Z) - Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
離散拡散言語モデルは、テキスト生成に強い可能性を示している。
半自己回帰推論による微調整ミスアライメントの標準化
我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
論文 参考訳(メタデータ) (2025-08-27T02:49:33Z) - Exploiting Vocabulary Frequency Imbalance in Language Model Pre-training [10.990131879961261]
大規模言語モデルはトークン化器で訓練され、結果として生じるトークン分布は極めて不均衡である。
最近の慣行では、より大きい語彙が好まれているが、その利点がどこから来ているのかは定かではない。
より大きな語彙は、この複雑さを減少させる。
論文 参考訳(メタデータ) (2025-08-21T09:26:48Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳(メタデータ) (2025-06-23T18:02:26Z) - Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。
そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。
SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
論文 参考訳(メタデータ) (2024-03-26T09:25:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。