論文の概要: Distortion-free Watermarks are not Truly Distortion-free under Watermark Key Collisions

• arxiv url: http://arxiv.org/abs/2406.02603v1
• Date: Sun, 2 Jun 2024 04:07:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 23:39:37.237621
• Title: Distortion-free Watermarks are not Truly Distortion-free under Watermark Key Collisions
• Title（参考訳）: 透かしキー衝突時の歪みのない透かしは真に歪まない
• Authors: Yihan Wu, Ruibo Chen, Zhengmian Hu, Yanshuo Chen, Junfeng Guo, Hongyang Zhang, Heng Huang,
• Abstract要約: 言語モデル(LM)ウォーターマーキング技術は、統計信号をLM生成コンテンツに注入する。 歪みのない新しい透かし-β透かしを導入します。 実験結果から,β-透かしが鍵衝突時の分布バイアスを効果的に低減できることが確認された。
• 参考スコア（独自算出の注目度）: 58.777395817878514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language model (LM) watermarking techniques inject a statistical signal into LM-generated content by substituting the random sampling process with pseudo-random sampling, using watermark keys as the random seed. Among these statistical watermarking approaches, distortion-free watermarks are particularly crucial because they embed watermarks into LM-generated content without compromising generation quality. However, one notable limitation of pseudo-random sampling compared to true-random sampling is that, under the same watermark keys (i.e., key collision), the results of pseudo-random sampling exhibit correlations. This limitation could potentially undermine the distortion-free property. Our studies reveal that key collisions are inevitable due to the limited availability of watermark keys, and existing distortion-free watermarks exhibit a significant distribution bias toward the original LM distribution in the presence of key collisions. Moreover, achieving a perfect distortion-free watermark is impossible as no statistical signal can be embedded under key collisions. To reduce the distribution bias caused by key collisions, we introduce a new family of distortion-free watermarks--beta-watermark. Experimental results support that the beta-watermark can effectively reduce the distribution bias under key collisions.
• Abstract（参考訳）: 言語モデル(LM)透かし技術は、ランダムなシードとして透かしキーを用いて、擬似ランダムサンプリングでランダムなサンプリングプロセスに代えて、統計信号をLM生成コンテンツに注入する。 これらの統計的透かし手法の中で、歪みのない透かしは、生成品質を損なうことなく、LM生成コンテンツに透かしを埋め込むため、特に重要である。 しかし、真ランダムサンプリングと比較して、擬ランダムサンプリングの顕著な制限は、同じ透かしキー(キー衝突)の下で、擬ランダムサンプリングの結果が相関を示すことである。 この制限は、歪みのない性質を損なう可能性がある。 従来の歪みのない透かしは,鍵衝突の有無で元のLM分布に対して有意な分布バイアスを示す。 さらに、鍵衝突下では統計的信号が埋め込めないため、完璧な歪みのない透かしを実現することは不可能である。 鍵衝突による分布バイアスを低減するため,新しい歪みのない透かし-β透かしを導入した。 実験結果から,β-透かしが鍵衝突時の分布バイアスを効果的に低減できることが確認された。

関連論文リスト

• CLUE-MARK: Watermarking Diffusion Models using CLWE [13.010337595004708]
  本稿では,拡散モデルに対する最初の検出不能な透かし方式であるCLUE-Markを紹介する。 CLUE-Markは、ウォーターマークされたモデルの変更を一切必要とせず、計算効率が良く、モデル出力の品質に影響を与えないことが保証されている。 CLUE-Markは、最近のステガノグラフィー攻撃では検出や除去ができない。
  論文  参考訳（メタデータ） (2024-11-18T10:03:01Z)
• An undetectable watermark for generative image models [65.31658824274894]
  生成画像モデルに対する検出不能な最初の透かし方式を提案する。 特に、検出不能な透かしは、効率的に計算可能なメートル法で画質を劣化させることはない。 提案手法は,擬似乱数誤り訂正符号を用いて拡散モデルの初期潜時間を選択する。
  論文  参考訳（メタデータ） (2024-10-09T18:33:06Z)
• Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
  この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。 我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。 実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T06:01:27Z)
• Watermark Smoothing Attacks against Language Models [40.02225709485305]
  我々はスムースな攻撃を導入し、既存の透かし手法がテキストの小さな修正に対して堅牢でないことを示す。 我々の攻撃は幅広い透かし技術の基本的限界を明らかにしている。
  論文  参考訳（メタデータ） (2024-07-19T11:04:54Z)
• A Watermark for Low-entropy and Unbiased Generation in Large Language Models [6.505831742654826]
  本研究は,これらの問題に対処可能な透かしであるサンプリング・ワン・アクセプティング(STA-1)手法を提案する。 低エントロピーのシナリオでは、不偏の透かしは、透かし強度と不満足な出力のリスクとのトレードオフに直面している。 低エントロピーデータセットと高エントロピーデータセットの両方の実験結果は、STA-1が既存の非バイアスウォーターマークに匹敵するテキスト品質と透かし強度を達成することを示した。
  論文  参考訳（メタデータ） (2024-05-23T14:17:29Z)
• Proving membership in LLM pretraining data via data watermarks [20.57538940552033]
  この研究は、ブラックボックスモデルアクセスのみで原則付き検出を可能にするために、データ透かしを使うことを提案する。 ランダムなシーケンスを挿入する2つの透かしと、Unicodeに似た文字をランダムに置換する2つの透かしについて検討する。 BLOOM-176Bのトレーニングデータから,少なくとも90回はハッシュを確実に検出できることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:49:27Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust [55.91987293510401]
  生成モデルのアウトプットを透かしは、著作権をトレースし、AI生成コンテンツによる潜在的な害を防ぐ重要なテクニックである。 本稿では,拡散モデル出力を頑健にフィンガープリントするTree-Ring Watermarkingという新しい手法を提案する。 私たちの透かしは画像空間に意味的に隠れており、現在デプロイされている透かしよりもはるかに堅牢です。
  論文  参考訳（メタデータ） (2023-05-31T17:00:31Z)
• Did You Train on My Dataset? Towards Public Dataset Protection with Clean-Label Backdoor Watermarking [54.40184736491652]
  本稿では,公開データの保護のための一般的な枠組みとして機能するバックドアベースの透かし手法を提案する。 データセットに少数の透かしサンプルを挿入することにより、我々のアプローチは、ディフェンダーが設定した秘密関数を暗黙的に学習することを可能にする。 この隠れた機能は、データセットを違法に使用するサードパーティモデルを追跡するための透かしとして使用できる。
  論文  参考訳（メタデータ） (2023-03-20T21:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。