論文の概要: TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Memoryless Races
- arxiv url: http://arxiv.org/abs/2610.40613v1
- Date: Thu, 29 Oct 2026 17:54:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.133234
- Title: TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Memoryless Races
- Title(参考訳): TextSeal2:コプラミキシングとメモリレスレースによる歪みのないLCM透かし
- Abstract要約: TextSeal2は、大きな言語モデルのための歪みのない透かしである。
出力の多様性を保ち、測定可能な推論遅延を追加しない。
TextSealとTextGrainは、同じ受け入れ率で、それぞれ18ポイントと22ポイントの200トークンの回答を検知する。
- 参考スコア(独自算出の注目度): 53.403108666656955
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present TextSeal2, a distortion-free watermark for large language models that keeps its signal under speculative decoding: tokens that replace rejected drafts remain watermarked with the same keys, and the acceptance rate is unchanged. It also preserves output diversity and adds no measurable inference latency. Its predecessor, TextSeal, restores diversity in the Gumbel-max scheme by routing each token to one of two keys via a coin flip. This is suboptimal because the detector averages the scores from both keys without knowing which key was used. TextSeal2 instead merges two or more keys into a single virtual key and couples it to fresh noise through AutoMark's Gaussian copula. Any number of keys, including publicly shared keys, can be merged this way without diluting detection. Under speculative decoding, TextSeal2 verifies keyed drafts with one more exponential race, run on the leftovers of the draft races. By memorylessness, this race reproduces block verification, so the output follows the target model exactly. We evaluate TextSeal2 on three LLMs. At equal output token diversity, TextSeal2 detects 8 to 22 percentage points more 100-token answers than TextSeal at a false-positive rate of $10^{-3}$, and is comparable to textGrain while requiring no post-logits optimization. Under speculative decoding, it detects 18 and 22 percentage points more 200-token answers than TextSeal and textGrain, respectively, at the same acceptance rate.
- Abstract(参考訳): 提案するTextSeal2は、大きな言語モデルのための歪みのない透かしで、信号の投機的復号化を保ちます。
また、出力の多様性を保ち、測定可能な推論遅延を追加しない。
前者のTextSealは、コインフリップを通じて各トークンを2つのキーのうちの1つにルーティングすることで、Gumbel-maxスキームの多様性を回復する。
これは、検出器がどのキーが使われたかを知らずに両方のキーからスコアを平均化するため、最適以下である。
TextSeal2は2つ以上のキーを1つの仮想キーにマージし、AutoMarkのGaussianコプラを通じて新しいノイズに結合する。
公開鍵を含む任意の数のキーは、検出を希薄にすることなく、この方法でマージすることができる。
投機的復号化の下で、TextSeal2は、キー付きドラフトを1つの指数関数的なレースで検証し、ドラフトレースの残りで実行される。
メモリレスにより、このレースはブロック検証を再現するので、出力はターゲットモデルを正確に追従する。
3つのLDM上でTextSeal2を評価した。
同等の出力トークンの多様性では、TextSeal2はTextSealよりも8~22パーセント高い100-tokenの回答を10^{-3}$で検出し、ポストログの最適化を必要とせず、textGrainに匹敵する。
投機的復号化の下では、TextSeal と textGrain よりも、それぞれ 18 と 22 のパーセンテージで 200-token の回答を同じ受け入れ率で検出する。
関連論文リスト
- CertMark: Distortion-Free Multi-Bit Watermarking with Certified Decoding [12.335697153382966]
本稿では,分散保存型マルチビット透かしであるCertMarkを紹介した。
確率を変更する代わりに、CertMarkは埋め込みメッセージを使用して正確なGumbel-maxサンプルをシードする。
モデルに依存しない,テキストのみのデコーダとモデル対応の2種類のデコーダを提案する。
論文 参考訳(メタデータ) (2026-09-27T08:02:03Z) - TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection [41.84508763512439]
TextSealは、大規模な言語モデルのための最先端の透かしである。
Gumbel-maxサンプリングに基づいて、TextSealは出力の多様性を回復するためにデュアルキー生成を導入している。
投機的復号化やマルチトークン予測などの最適化もサポートしている。
論文 参考訳(メタデータ) (2026-05-12T17:44:41Z) - HATS: High-Accuracy Triple-Set Watermarking for Large Language Models [12.046442787235108]
本稿では,各復号段階における語彙を3つの集合に分割する透かしを提案する。
検出時に同じパーティションを再生し、グリーンエンリッチメントとレッドデプレクションの統計を計算し、それらを一方のzスコアに変換し、p値を集約する。
我々はLlama 2 7Bで生成、検出、テストを行い、真陽性率、偽陽性率、テキスト品質を評価した。
論文 参考訳(メタデータ) (2025-12-22T13:23:29Z) - Object Recognition as Next Token Prediction [99.40793702627396]
オブジェクト認識を次のトークン予測として提案する。
その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
論文 参考訳(メタデータ) (2023-12-04T18:58:40Z) - AWTE-BERT:Attending to Wordpiece Tokenization Explicitly on BERT for
Joint Intent Classification and SlotFilling [5.684659127683238]
BERT (Bidirectional Representations from Transformers) は2つのタスクを共同で最適化する。
本稿では,ワードピーストークン化後の複数のサブトークン特徴を明示的にモデル化したBERTに基づく新しいジョイントモデルを提案する。
実験により,本モデルが意図分類精度,スロットフィリングF1,文レベルの意味的フレーム精度を大幅に向上することを確認した。
論文 参考訳(メタデータ) (2022-11-27T13:49:19Z) - Detecting Handwritten Mathematical Terms with Sensor Based Data [71.84852429039881]
本稿では,手書きの数学的用語を自動分類する,スタビロによるUbiComp 2021チャレンジの解を提案する。
入力データセットには異なるライターのデータが含まれており、ラベル文字列は合計15の異なる文字から構成されている。
論文 参考訳(メタデータ) (2021-09-12T19:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。