論文の概要: Global Sketch-Based Watermarking for Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2606.04486v1
- Date: Wed, 03 Jun 2026 06:08:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.579847
- Title: Global Sketch-Based Watermarking for Diffusion Language Models
- Title(参考訳): 拡散言語モデルのためのグローバルスケッチに基づく透かし
- Abstract要約: テキストのグローバルなベクトル値のスケッチ表現を制御するマスク拡散言語モデルのための透かしを提案する。
文脈依存の透かしと比較すると、スケッチの定式化は生成時に見られる局所的な文脈から検出される。
提案手法の歪み, 音性, 強靭性を解析した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Watermarking methods for language models have been studied extensively in the autoregressive setting, where tokens are generated sequentially. These works largely focus on local-context schemes that perturb the next token's distribution as a function of its preceding tokens. In diffusion language models, distributions over many unresolved positions are jointly sampled, allowing additive statistics of the entire sequence to be tractable during generation. We propose a watermark for masked diffusion language models that controls a global, vector-valued sketch representation of the text. Compared to context-dependent watermarking, the sketch formulation decouples detection from the local contexts seen during generation, resulting in an order-agnostic statistic and a watermarking rule which does not manifest as a simple token bias. We analyze the distortion, soundness, and robustness properties of the method.
- Abstract(参考訳): 言語モデルの透かし手法は,トークンを逐次生成する自己回帰設定において広く研究されている。
これらの研究は主に、前のトークンの関数として次のトークンの分布を摂動させる局所的なコンテキストスキームに焦点を当てている。
拡散言語モデルでは、多くの未解決位置上の分布を共同でサンプリングし、生成中に全配列の加算統計を抽出することができる。
テキストのグローバルなベクトル値のスケッチ表現を制御するマスク拡散言語モデルのための透かしを提案する。
文脈依存の透かしと比較して、スケッチの定式化は、生成時に見られる局所的な文脈から検出を分離し、順序に依存しない統計と単純なトークンバイアスとして現れない透かし規則をもたらす。
提案手法の歪み, 音性, 強靭性を解析した。
関連論文リスト
- DenMark: Robust Semantic Watermarking for Diffusion Language Models [56.836684262732994]
DenMarkは拡散言語モデル(DLM)のセマンティックな透かしフレームワークである
鍵依存的な信号をDLM復調プロセスに直接注入する。
出力を固定トークン領域に分割し、一時ロールアウトをセマンティックルックヘッドとして使用する。
検出のために、DenMarkは、セマンティックアタックによって導入されたバウンダリシフトに対する堅牢性を維持するために、候補ユニットサイズをキャリブレーションしたスキャンを使用する。
論文 参考訳(メタデータ) (2026-09-13T03:37:48Z) - Optimal Watermark Localization in Mixed-Source Large Language Model Texts [41.92651100461471]
ウォーターマーキングは、大きな言語モデル(LLM)によって生成されるテキストを認証する原則的な方法を提供する。
実際には、最終文は混ざり合っており、透かしの証拠は書き直し、挿入、削除、またはパラフレージングの後にトークンの位置のサブセットにしか残っていない。
我々は,各位置における透かし依存が残存するかどうかを示す潜在指標を用いて,座標統計に基づくトークンレベルの多重検定問題として局所化を定式化する。
論文 参考訳(メタデータ) (2026-08-14T21:41:50Z) - Selective Disclosure Watermarking for Large Language Models [16.579884795891754]
埋め込みメタデータの選択的開示を可能にする透かしフレームワークである階層語彙ルーティング(HeRo)を提案する。
提案手法は, サンプリングプロセスの非偏りを保ち, テキストの品質を維持できることを示す。
論文 参考訳(メタデータ) (2026-07-06T17:32:01Z) - Watermarking Discrete Diffusion Language Models [17.991665184843562]
分散保存Gumbel-max法を各拡散ステップで適用することにより, 離散拡散モデルに対する最初の透かし法を提案する。
我々は,トークン列長における偽検出の指数的に減衰する確率で,本手法が歪みのないことを実験的に実証し,解析的に証明した。
論文 参考訳(メタデータ) (2025-11-03T21:43:44Z) - Cross-Attention Watermarking of Large Language Models [8.704964543257246]
言語モデルの言語透かしに対する新しいアプローチを示す。
情報は、読みやすさと本来の意味を保ちながら、出力テキストに不可避的に挿入される。
クロスアテンションメカニズムは、推論中にテキストに透かしを埋め込むのに使われる。
論文 参考訳(メタデータ) (2024-01-12T09:39:50Z) - Downstream Trade-offs of a Family of Text Watermarks [25.408313192999504]
多様なタスク群に対する3つの異なる戦略を用いて,LLMの性能評価を行った。
電子透かしは全てのタスクにおいて LLM の有効性を著しく低下させる可能性がある。
この結果から,透かしモデルを用いた場合,ユーザが認識すべきトレードオフが浮き彫りになった。
論文 参考訳(メタデータ) (2023-11-16T11:44:58Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - A Resilient and Accessible Distribution-Preserving Watermark for Large Language Models [65.40460716619772]
本研究は,textbfDistribution-textbf Preserving (DiP)ウォーターマークの重要性に焦点をあてる。
現在の戦略とは対照的に,提案したDiPmarkは透かし中に元のトークン分布を同時に保存する。
言語モデルAPIにアクセスせずに検出可能で(アクセス可能)、トークンの適度な変更に対して確実に堅牢である。
論文 参考訳(メタデータ) (2023-10-11T17:57:35Z) - Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。
リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。
我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
論文 参考訳(メタデータ) (2023-05-14T07:37:33Z) - A Watermark for Large Language Models [84.95327142027183]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳(メタデータ) (2023-01-24T18:52:59Z) - SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。
シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。
現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
論文 参考訳(メタデータ) (2022-11-25T18:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。