論文の概要: Watermarking Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2509.24368v1
- Date: Mon, 29 Sep 2025 07:11:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.807858
- Title: Watermarking Diffusion Language Models
- Title（参考訳）: 透かし拡散言語モデル
- Authors: Thibaud Gloaguen, Robin Staab, Nikola Jovanović, Martin Vechev,
- Abstract要約: 拡散言語モデル(DLM)に適した最初の透かしを導入する。
これは、トークンを逐次生成する標準自己回帰言語モデル(ARLM)とは対照的に、任意の順序でトークンを生成できる創発的LLMパラダイムである。
- 参考スコア（独自算出の注目度）: 9.515480957792542
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the first watermark tailored for diffusion language models (DLMs), an emergent LLM paradigm able to generate tokens in arbitrary order, in contrast to standard autoregressive language models (ARLMs) which generate tokens sequentially. While there has been much work in ARLM watermarking, a key challenge when attempting to apply these schemes directly to the DLM setting is that they rely on previously generated tokens, which are not always available with DLM generation. In this work we address this challenge by: (i) applying the watermark in expectation over the context even when some context tokens are yet to be determined, and (ii) promoting tokens which increase the watermark strength when used as context for other tokens. This is accomplished while keeping the watermark detector unchanged. Our experimental evaluation demonstrates that the DLM watermark leads to a >99% true positive rate with minimal quality impact and achieves similar robustness to existing ARLM watermarks, enabling for the first time reliable DLM watermarking.
- Abstract（参考訳）: 拡散言語モデル (DLM) に適した最初の透かしを導入し, トークンを逐次生成する標準自己回帰言語モデル (ARLM) とは対照的に, 任意の順序でトークンを生成できる創発的LCMパラダイムを提案する。
ARLMの透かしには多くの作業があったが、これらのスキームをDLM設定に直接適用しようとする際の重要な課題は、DLM生成で常に利用できるわけではない、以前に生成されたトークンに依存することである。
この作業では、次のような課題に対処します。
一 文脈トークンがまだ決定されていない場合でも、その状況に先立って透かしを施すこと。
2他のトークンのコンテキストとして使用する場合の透かし強度を高めるトークンの促進。
これは透かし検出器をそのままに保ちながら達成される。
実験により,DLM透かしは99%の正の値を示し,品質への影響は最小限であり,既存のARLM透かしと同様の堅牢性を実現し,初めて信頼性の高いDLM透かしを実現することができた。
関連論文リスト
- Yet Another Watermark for Large Language Models [20.295405732813748]
既存の大規模言語モデル(LLM)の透かし手法は、トークンサンプリング予測や後処理を調整することで透かしを埋め込む。
本稿では, LLMの内部パラメータを操作することで, LLMの内部に透かしを埋め込む新しい透かしフレームワークを提案する。
提案手法は, 透かしの頑健さと非受容性のバランスを良くするため, LLMの固有パラメータと透かしの絡み合わせを行う。
論文 参考訳（メタデータ） (2025-09-16T02:04:55Z) - DERMARK: A Dynamic, Efficient and Robust Multi-bit Watermark for Large Language Models [18.023143082876015]
テキストを各ウォーターマークビットに対して可変長セグメントに分割する動的で効率的で堅牢なマルチビット透かし法を提案する。
本手法は,埋め込みビット当たりのトークン数を25%削減し,透かし埋め込み時間を50%削減し,テキスト修正や透かし消去攻撃に対して高い堅牢性を維持する。
論文 参考訳（メタデータ） (2025-02-04T11:23:49Z) - Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。
我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。
実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
論文 参考訳（メタデータ） (2024-10-04T06:01:27Z) - Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。
提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
論文 参考訳（メタデータ） (2024-07-17T18:52:12Z) - PostMark: A Robust Blackbox Watermark for Large Language Models [56.63560134428716]
モジュール式ポストホックウォーターマーキング手法であるPostMarkを開発した。
PostMarkはロジットアクセスを必要としないため、サードパーティによって実装することができる。
PostMarkは既存のウォーターマーキング手法よりも,攻撃を言い換える方が堅牢であることを示す。
論文 参考訳（メタデータ） (2024-06-20T17:27:14Z) - A Robust Semantics-based Watermark for Large Language Model against Paraphrasing [50.84892876636013]
大規模言語モデル(LLM)は、様々な自然言語処理において優れた能力を示している。
LLMは不適切にも違法にも使用できるという懸念がある。
本稿ではセマンティクスに基づく透かしフレームワークSemaMarkを提案する。
論文 参考訳（メタデータ） (2023-11-15T06:19:02Z) - A Semantic Invariant Robust Watermark for Large Language Models [27.522264953691746]
以前の透かしアルゴリズムは、攻撃の堅牢性とセキュリティの堅牢性の間のトレードオフに直面していた。
これは、トークンの透かしロジットが、先行するトークンの数によって決定されるためである。
攻撃の堅牢性とセキュリティの堅牢性の両方を提供するLLMのセマンティック不変な透かし手法を提案する。
論文 参考訳（メタデータ） (2023-10-10T06:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。