論文の概要: TANGO: Watermarking Masked Diffusion Language Models in Token Pairs
- arxiv url: http://arxiv.org/abs/2609.35224v1
- Date: Mon, 28 Sep 2026 14:08:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 15:57:20.518155
- Title: TANGO: Watermarking Masked Diffusion Language Models in Token Pairs
- Title(参考訳): TANGO:トークンペアにおけるマスケ拡散言語モデルの透かし
- Abstract要約: Masked-diffusion言語モデルは、マスクされた位置を平行に、固定順序で埋める。
TANGOは、マスク付き拡散言語モデルの透かしで、新しいトークンを、既にマスクされていない近くのトークンにキーする。
- 参考スコア(独自算出の注目度): 64.75516595651347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Masked-diffusion language models fill in masked positions in parallel and in no fixed order. Most practical text watermarks assume left-to-right generation. They key each token to the tokens before it, and in a diffusion model those tokens may still be masked. A fixed green list needs no such context, but it favors the same tokens at every position, so these tokens appear more often in watermarked text. An attacker who compares token frequencies in watermarked and unwatermarked text can recover the list and forge text that the provider's own detector accepts. We present TANGO, a watermark for masked-diffusion language models that keys each new token to a nearby token that is already unmasked. A secret key splits the vocabulary into color classes, and TANGO biases the new token toward a color determined by the key and the nearby token's color. The watermark is therefore embedded in pairs of tokens. Because the favored color changes from position to position, token frequencies stay much closer to those of unwatermarked text than under a fixed green list. Detection needs only the text and the key, and it does not assume any unmasking order. On two masked-diffusion models, TANGO detects nearly all unedited watermarked texts and most edited ones, and frequency attacks that forge the fixed green list fail against it.
- Abstract(参考訳): Masked-diffusion言語モデルは、マスクされた位置を平行に、固定順序で埋める。
ほとんどの実践的なテキスト透かしは左から右へ生成する。
トークンはそれ以前のトークンにキーを付け、拡散モデルではこれらのトークンは依然としてマスクされる可能性がある。
固定グリーンリストはそのようなコンテキストを必要としないが、すべての位置で同じトークンを好むため、これらのトークンはウォーターマークされたテキストでより頻繁に現れる。
透かし付きテキストと透かしなしテキストでトークン周波数を比較するアタッカーはリストを復元し、プロバイダ自身の検出器が受け入れるテキストを偽造することができる。
マスク付き拡散言語モデルの透かしであるTANGOを紹介します。
シークレットキーは語彙をカラークラスに分割し、TANGOはキーと近くのトークンの色によって決定された色に対して新しいトークンをバイアスする。
したがって、透かしはトークンのペアに埋め込まれている。
好まれる色が位置から位置へ変化するため、トークンの周波数は固定された緑色のリストよりも、未透かしの文字に近いままである。
検出にはテキストとキーのみが必要である。
2つのマスク付き拡散モデルにおいて、TANGOは、ほとんど全ての未編集の透かしテキストとほとんどの編集済みテキストを検出し、固定された緑のリストを偽造する頻度攻撃はそれに対して失敗する。
関連論文リスト
- Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models [40.902681492117786]
RemeDiはマスクベースのDLMで、トークンの分布と各ステップにおけるトークン毎の信頼スコアを予測する。
モデルに不正トークンを検出して再マスクする教師付き微調整を含む、この能力をトレーニングするために、リマスク対応パイプラインをトレーニングします。
実験により、RemeDiは複数のデータセット上のオープンソースのDLMの最先端の結果を達成することが示された。
論文 参考訳(メタデータ) (2025-09-28T05:39:49Z) - Follow the Flow: On Information Flow Across Textual Tokens in Text-to-Image Models [35.85433370296494]
テキスト・ツー・イメージ・モデルにおいて,意味情報をトークン表現に分散させる方法について検討する。
情報は通常、アイテムのトークンの1つか2つだけに集中している。
場合によっては、アイテムはお互いの表現に影響を与え、しばしば誤解を招く。
論文 参考訳(メタデータ) (2025-04-01T19:17:44Z) - Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。
近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。
我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
論文 参考訳(メタデータ) (2024-05-30T04:11:17Z) - Bypassing LLM Watermarks with Color-Aware Substitutions [11.724935807582513]
セルフカラーテストベースの代替(SCTS)は、最初のカラーアウェアによる攻撃である。
SCTSは関連する作業よりも少ない編集数で透かし検出を回避した。
我々はSCTSが任意の長さの透かしテキストの透かしを除去できることを理論的にも経験的にも示している。
論文 参考訳(メタデータ) (2024-03-19T17:54:39Z) - Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。
リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。
我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
論文 参考訳(メタデータ) (2023-05-14T07:37:33Z) - A Watermark for Large Language Models [84.95327142027183]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳(メタデータ) (2023-01-24T18:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。