DenMark: Robust Semantic Watermarking for Diffusion Language Models
Abstractの概要
DenMarkは、テキストが左から右へのトークン出力ではなく反復的なノイズ除去を通じて生成される拡散言語モデル向けに設計された意味電子透かしフレームワークです。この手法は出力を固定トークン領域に分割し、各局所更新において一時的なロールアウトを用いて未完成領域の最終的な意味を推定した上で、鍵に依存する意味透かしスコアが最も高い候補を選択します。検出時には、パラフレーズやその他の意味編集によってトークン境界がずれた場合でも透かしの証拠を復元できるよう、較正された候補ユニットサイズをスキャンします。本論文では、意味を保持する編集後の透かし検出可能性に焦点を当て、4つの拡散言語モデル、3つのデータセット、および複数の意味・トークンレベルの攻撃にわたって本手法を評価しています。
新規性
本論文は、自己回帰モデル向けの意味電子透かし手法が直接適用できない状況に対処し、拡散言語モデルのデコード動態に合わせた意味透かし手法を提案しています。その特徴的な要素は、ノイズ除去中のロールアウト誘導による局所候補選択と、ユニットサイズの較正されたスキャンによる境界シフトに頑健な検出です。
成果
4つの拡散言語モデル、3つのデータセット、4つの意味攻撃にわたり、DenMarkは報告された指標において全48通りの組み合わせすべてで最良の検出結果を報告しています。これらの攻撃設定の平均では、FPRが0.5%、1%、5%のときにそれぞれ63.55%、71.89%、87.45%のTPRとAUC 0.9693を達成し、最強のベースライン（35.16%、41.90%、61.80%、AUC 0.8915）を上回りました。また、候補スコアリングとロールアウトによる生成オーバーヘッドの増加を指摘しつつも、オープンソースのパラフレーザーやトークン攻撃に対しても強い頑健性を報告しています。
論文の注目点
- DenMarkは、ロールアウトに基づく先読みを用いて固定トークン領域内の局所更新候補をスコアリングすることにより、拡散言語モデルのノイズ除去に意味透かし信号を直接注入します。
- 検出器は複数の候補ユニットサイズにわたる較正スキャンを使用することで、意味攻撃によってトークン長が変化したり領域境界がずれたりした場合でも頑健性を維持します。
- 実証的に、本手法は通常のデコードよりも生成コストが高くなるものの、意味攻撃条件下で評価対象のベースラインを上回り、複数のトークンレベルの摂動に対しても高い検出可能性を維持します。