論文の概要: HeavyWater and SimplexWater: Watermarking Low-Entropy Text Distributions
- arxiv url: http://arxiv.org/abs/2506.06409v1
- Date: Fri, 06 Jun 2025 13:52:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.266858
- Title: HeavyWater and SimplexWater: Watermarking Low-Entropy Text Distributions
- Title（参考訳）: HeavyWaterとSimplexWater:低エントロピーテキスト分布の透かし
- Authors: Dor Tsur, Carol Xuan Long, Claudio Mayrink Verdun, Hsiang Hsu, Chen-Fu Chen, Haim Permuter, Sajani Vithana, Flavio P. Calmon,
- Abstract要約: 大きな言語モデル(LLM)の透かしは、テキストの証明の認証、機械生成されたテキストの誤用の抑制、AIシステムの信頼の促進を可能にする。
LLMウォーターマーキングは、コーディングのような低エントロピー生成タスクでは困難である。
我々のゴールは、透かし検出の可能性を最大化し、生成したテキストの歪みを最小限に抑えるために、ランダムな側情報をどのように効果的に利用するかを理解することである。
- 参考スコア（独自算出の注目度）: 9.08291061147965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) watermarks enable authentication of text provenance, curb misuse of machine-generated text, and promote trust in AI systems. Current watermarks operate by changing the next-token predictions output by an LLM. The updated (i.e., watermarked) predictions depend on random side information produced, for example, by hashing previously generated tokens. LLM watermarking is particularly challenging in low-entropy generation tasks - such as coding - where next-token predictions are near-deterministic. In this paper, we propose an optimization framework for watermark design. Our goal is to understand how to most effectively use random side information in order to maximize the likelihood of watermark detection and minimize the distortion of generated text. Our analysis informs the design of two new watermarks: HeavyWater and SimplexWater. Both watermarks are tunable, gracefully trading-off between detection accuracy and text distortion. They can also be applied to any LLM and are agnostic to side information generation. We examine the performance of HeavyWater and SimplexWater through several benchmarks, demonstrating that they can achieve high watermark detection accuracy with minimal compromise of text generation quality, particularly in the low-entropy regime. Our theoretical analysis also reveals surprising new connections between LLM watermarking and coding theory. The code implementation can be found in https://github.com/DorTsur/HeavyWater_SimplexWater
- Abstract（参考訳）: 大きな言語モデル(LLM)の透かしは、テキストの証明の認証、機械生成されたテキストの誤用の抑制、AIシステムの信頼の促進を可能にする。
現在の透かしは、LCMによって出力される次のトーケン予測を変更して動作する。
更新された(すなわち透かし付き)予測は、例えば、以前に生成されたトークンをハッシュすることによって生成されたランダムな側情報に依存する。
コーディングのような低エントロピー生成タスクでは、次のトーケン予測がほぼ決定論的である場合、LLMウォーターマーキングは特に困難である。
本稿では,透かし設計のための最適化フレームワークを提案する。
我々のゴールは、透かし検出の可能性を最大化し、生成したテキストの歪みを最小限に抑えるために、ランダムな側情報をどのように効果的に利用するかを理解することである。
本分析では,HavyWaterとSimplexWaterの2つの新しい透かしの設計について報告する。
両方の透かしは調整可能で、検出精度とテキスト歪みの間に優雅にトレードオフがある。
LLMにも適用可能で、サイド情報生成に非依存である。
いくつかのベンチマークでヘビーウォーターとSimplexWaterの性能を検証し、特に低エントロピー状態においてテキスト生成品質の最小限の妥協で高い透かし検出精度を達成できることを実証した。
我々の理論解析は、LLM透かしと符号化理論の間の驚くべき新しい関係も明らかにしている。
コードの実装はhttps://github.com/DorTsur/HeavyWater_SimplexWaterで確認できる。
関連論文リスト
- Optimized Couplings for Watermarking Large Language Models [8.585779208433465]
大規模言語モデル(LLM)は、多くの場合、人間が生成したコンテンツと区別できないようなテキストを生成することができる。
本稿では,テキスト透かしをワンショットで解析する。
論文 参考訳（メタデータ） (2025-05-13T18:08:12Z) - Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。
提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
論文 参考訳（メタデータ） (2024-07-17T18:52:12Z) - An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。
両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
論文 参考訳（メタデータ） (2023-07-30T13:43:27Z) - Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。
テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
論文 参考訳（メタデータ） (2023-07-29T14:11:15Z) - Provable Robust Watermarking for AI-Generated Text [41.5510809722375]
We propose a robust and high-quality watermark method, Unigram-Watermark。
提案手法は,テキストの編集やパラフレージングに頑健で,生成品質,透かし検出の精度が保証されていることを実証する。
論文 参考訳（メタデータ） (2023-06-30T07:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。