論文の概要: Watermarking Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2509.24368v1
- Date: Mon, 29 Sep 2025 07:11:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.807858
- Title: Watermarking Diffusion Language Models
- Title（参考訳）: 透かし拡散言語モデル
- Authors: Thibaud Gloaguen, Robin Staab, Nikola Jovanović, Martin Vechev,
- Abstract要約: 拡散言語モデル(DLM)に適した最初の透かしを導入する。
これは、トークンを逐次生成する標準自己回帰言語モデル(ARLM)とは対照的に、任意の順序でトークンを生成できる創発的LLMパラダイムである。
- 参考スコア（独自算出の注目度）: 9.515480957792542
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the first watermark tailored for diffusion language models (DLMs), an emergent LLM paradigm able to generate tokens in arbitrary order, in contrast to standard autoregressive language models (ARLMs) which generate tokens sequentially. While there has been much work in ARLM watermarking, a key challenge when attempting to apply these schemes directly to the DLM setting is that they rely on previously generated tokens, which are not always available with DLM generation. In this work we address this challenge by: (i) applying the watermark in expectation over the context even when some context tokens are yet to be determined, and (ii) promoting tokens which increase the watermark strength when used as context for other tokens. This is accomplished while keeping the watermark detector unchanged. Our experimental evaluation demonstrates that the DLM watermark leads to a >99% true positive rate with minimal quality impact and achieves similar robustness to existing ARLM watermarks, enabling for the first time reliable DLM watermarking.
- Abstract（参考訳）: 拡散言語モデル (DLM) に適した最初の透かしを導入し, トークンを逐次生成する標準自己回帰言語モデル (ARLM) とは対照的に, 任意の順序でトークンを生成できる創発的LCMパラダイムを提案する。
ARLMの透かしには多くの作業があったが、これらのスキームをDLM設定に直接適用しようとする際の重要な課題は、DLM生成で常に利用できるわけではない、以前に生成されたトークンに依存することである。
この作業では、次のような課題に対処します。
一 文脈トークンがまだ決定されていない場合でも、その状況に先立って透かしを施すこと。
2他のトークンのコンテキストとして使用する場合の透かし強度を高めるトークンの促進。
これは透かし検出器をそのままに保ちながら達成される。
実験により,DLM透かしは99%の正の値を示し,品質への影響は最小限であり,既存のARLM透かしと同様の堅牢性を実現し,初めて信頼性の高いDLM透かしを実現することができた。
関連論文リスト
- LR-DWM: Efficient Watermarking for Diffusion Language Models [40.70709965738489]
Diffusion Language Models (DLMs) は、非逐次反復記述によるテキストを生成する。
近年の研究では、DLMを透かし、必要な時に処理を反転させることが提案されているが、計算やメモリのオーバーヘッドがかなり大きい。
本稿では,左隣と右隣の両方に基づいて生成されたトークンをバイアスする左隣拡散透かし(LR-DWM)を導入する。
論文 参考訳（メタデータ） (2026-01-18T12:08:51Z) - EditMark: Watermarking Large Language Models based on Model Editing [76.04893766374221]
モデル編集を利用した最初の電子透かし手法であるEditMarkを提案する。
実験によると、EditMarkは32ビットの透かしを20秒以内にLLMに埋め込むことができ、透かし抽出の成功率は100%である。
論文 参考訳（メタデータ） (2025-10-18T06:25:17Z) - DMark: Order-Agnostic Watermarking for Diffusion Large Language Models [46.07844536066178]
拡散大言語モデル(dLLM)は、同等の品質を維持しながら、自己回帰モデルよりも高速な生成を提供する。
DMarkは、dLLM用に特別に設計された最初の透かしフレームワークである。
論文 参考訳（メタデータ） (2025-10-03T11:14:16Z) - Yet Another Watermark for Large Language Models [20.295405732813748]
既存の大規模言語モデル(LLM)の透かし手法は、トークンサンプリング予測や後処理を調整することで透かしを埋め込む。
本稿では, LLMの内部パラメータを操作することで, LLMの内部に透かしを埋め込む新しい透かしフレームワークを提案する。
提案手法は, 透かしの頑健さと非受容性のバランスを良くするため, LLMの固有パラメータと透かしの絡み合わせを行う。
論文 参考訳（メタデータ） (2025-09-16T02:04:55Z) - DERMARK: A Dynamic, Efficient and Robust Multi-bit Watermark for Large Language Models [18.023143082876015]
テキストを各ウォーターマークビットに対して可変長セグメントに分割する動的で効率的で堅牢なマルチビット透かし法を提案する。
本手法は,埋め込みビット当たりのトークン数を25%削減し,透かし埋め込み時間を50%削減し,テキスト修正や透かし消去攻撃に対して高い堅牢性を維持する。
論文 参考訳（メタデータ） (2025-02-04T11:23:49Z) - Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。
我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。
実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
論文 参考訳（メタデータ） (2024-10-04T06:01:27Z) - Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。
提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
論文 参考訳（メタデータ） (2024-07-17T18:52:12Z) - PostMark: A Robust Blackbox Watermark for Large Language Models [56.63560134428716]
モジュール式ポストホックウォーターマーキング手法であるPostMarkを開発した。
PostMarkはロジットアクセスを必要としないため、サードパーティによって実装することができる。
PostMarkは既存のウォーターマーキング手法よりも,攻撃を言い換える方が堅牢であることを示す。
論文 参考訳（メタデータ） (2024-06-20T17:27:14Z) - Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。
近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。
我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
論文 参考訳（メタデータ） (2024-05-30T04:11:17Z) - Turning Your Strength into Watermark: Watermarking Large Language Model via Knowledge Injection [66.26348985345776]
本稿では,知識注入に基づく大規模言語モデル(LLM)のための新しい透かし手法を提案する。
透かし埋め込みの段階では、まず選択した知識に透かしを埋め込んで、透かし付き知識を得る。
透かし抽出段階では、疑わしいLLMを問うために、透かし付き知識に関する質問を設計する。
実験により, 透かし抽出の成功率は100%近くであり, 提案手法の有効性, 忠実性, ステルス性, 堅牢性を示した。
論文 参考訳（メタデータ） (2023-11-16T03:22:53Z) - A Robust Semantics-based Watermark for Large Language Model against Paraphrasing [50.84892876636013]
大規模言語モデル(LLM)は、様々な自然言語処理において優れた能力を示している。
LLMは不適切にも違法にも使用できるという懸念がある。
本稿ではセマンティクスに基づく透かしフレームワークSemaMarkを提案する。
論文 参考訳（メタデータ） (2023-11-15T06:19:02Z) - A Semantic Invariant Robust Watermark for Large Language Models [27.522264953691746]
以前の透かしアルゴリズムは、攻撃の堅牢性とセキュリティの堅牢性の間のトレードオフに直面していた。
これは、トークンの透かしロジットが、先行するトークンの数によって決定されるためである。
攻撃の堅牢性とセキュリティの堅牢性の両方を提供するLLMのセマンティック不変な透かし手法を提案する。
論文 参考訳（メタデータ） (2023-10-10T06:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。