論文の概要: Optimized Couplings for Watermarking Large Language Models
- arxiv url: http://arxiv.org/abs/2505.08878v1
- Date: Tue, 13 May 2025 18:08:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-15 21:44:09.263903
- Title: Optimized Couplings for Watermarking Large Language Models
- Title（参考訳）: 大規模言語モデルの透かしのための最適結合
- Authors: Dor Tsur, Carol Xuan Long, Claudio Mayrink Verdun, Hsiang Hsu, Haim Permuter, Flavio P. Calmon,
- Abstract要約: 大規模言語モデル(LLM)は、多くの場合、人間が生成したコンテンツと区別できないようなテキストを生成することができる。
本稿では,テキスト透かしをワンショットで解析する。
- 参考スコア（独自算出の注目度）: 8.585779208433465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-language models (LLMs) are now able to produce text that is, in many cases, seemingly indistinguishable from human-generated content. This has fueled the development of watermarks that imprint a ``signal'' in LLM-generated text with minimal perturbation of an LLM's output. This paper provides an analysis of text watermarking in a one-shot setting. Through the lens of hypothesis testing with side information, we formulate and analyze the fundamental trade-off between watermark detection power and distortion in generated textual quality. We argue that a key component in watermark design is generating a coupling between the side information shared with the watermark detector and a random partition of the LLM vocabulary. Our analysis identifies the optimal coupling and randomization strategy under the worst-case LLM next-token distribution that satisfies a min-entropy constraint. We provide a closed-form expression of the resulting detection rate under the proposed scheme and quantify the cost in a max-min sense. Finally, we provide an array of numerical results, comparing the proposed scheme with the theoretical optimum and existing schemes, in both synthetic data and LLM watermarking. Our code is available at https://github.com/Carol-Long/CC_Watermark
- Abstract（参考訳）: 大規模言語モデル(LLM)は、多くの場合、人間が生成したコンテンツと区別できないようなテキストを生成することができる。
これにより、LLMの出力を最小限の摂動で LLM 生成テキストに ``signal'' を印字する透かしの開発が加速された。
本稿では,テキスト透かしをワンショットで解析する。
副次的情報を用いた仮説テストのレンズを用いて,テキスト品質における透かし検出力と歪みの基本的なトレードオフを定式化し,解析する。
透かし設計における重要な要素は、透かし検出器とLLM語彙のランダムな分割とで共有される側情報とを結合させることである。
本分析では,最小エントロピー制約を満たす最短ケースLLM次トーケン分布下での最適結合とランダム化の戦略を明らかにした。
提案手法で得られた検出率のクローズドフォーム表現を行い,最大値でコストを定量化する。
最後に,提案手法と理論的最適スキームと既存スキームを比較し,合成データとLLM透かしの両方で数値的な結果を示す。
私たちのコードはhttps://github.com/Carol-Long/CC_Watermarkで利用可能です。
関連論文リスト
- HeavyWater and SimplexWater: Watermarking Low-Entropy Text Distributions [9.08291061147965]
大きな言語モデル(LLM)の透かしは、テキストの証明の認証、機械生成されたテキストの誤用の抑制、AIシステムの信頼の促進を可能にする。
LLMウォーターマーキングは、コーディングのような低エントロピー生成タスクでは困難である。
我々のゴールは、透かし検出の可能性を最大化し、生成したテキストの歪みを最小限に抑えるために、ランダムな側情報をどのように効果的に利用するかを理解することである。
論文 参考訳（メタデータ） (2025-06-06T13:52:34Z) - DERMARK: A Dynamic, Efficient and Robust Multi-bit Watermark for Large Language Models [18.023143082876015]
テキストを各ウォーターマークビットに対して可変長セグメントに分割する動的で効率的で堅牢なマルチビット透かし法を提案する。
本手法は,埋め込みビット当たりのトークン数を25%削減し,透かし埋め込み時間を50%削減し,テキスト修正や透かし消去攻撃に対して高い堅牢性を維持する。
論文 参考訳（メタデータ） (2025-02-04T11:23:49Z) - GaussMark: A Practical Approach for Structural Watermarking of Language Models [61.84270985214254]
GaussMarkは、大規模な言語モデルを透かし出すためのシンプルで効率的で比較的堅牢なスキームである。
GaussMarkは信頼性が高く、効率的で、挿入、削除、置換、ラウンドトリップ翻訳などの汚職に対して比較的堅牢であることを示す。
論文 参考訳（メタデータ） (2025-01-17T22:30:08Z) - Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。
近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。
我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
論文 参考訳（メタデータ） (2024-05-30T04:11:17Z) - Topic-Based Watermarks for Large Language Models [46.71493672772134]
本稿では,Large Language Model (LLM) 出力のための軽量なトピック誘導型透かし方式を提案する。
本手法は,Google の SynthID-Text など,業界をリードするシステムに匹敵する難易度を実現する。
論文 参考訳（メタデータ） (2024-04-02T17:49:40Z) - A Statistical Framework of Watermarks for Large Language Models: Pivot, Detection Efficiency and Optimal Rules [27.678152860666163]
我々は,透かしの統計的効率と強力な検出規則を推論するための枠組みを導入する。
枠組みに基づく透かしの最適検出規則を導出する。
論文 参考訳（メタデータ） (2024-04-01T17:03:41Z) - Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。
ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。
本手法は,検出性と意味的整合性を同時に達成する。
論文 参考訳（メタデータ） (2024-02-28T05:43:22Z) - WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。
透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
論文 参考訳（メタデータ） (2023-11-16T11:58:31Z) - An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。
両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
論文 参考訳（メタデータ） (2023-07-30T13:43:27Z) - Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。
テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
論文 参考訳（メタデータ） (2023-07-29T14:11:15Z) - Provable Robust Watermarking for AI-Generated Text [41.5510809722375]
We propose a robust and high-quality watermark method, Unigram-Watermark。
提案手法は,テキストの編集やパラフレージングに頑健で,生成品質,透かし検出の精度が保証されていることを実証する。
論文 参考訳（メタデータ） (2023-06-30T07:24:32Z) - A Watermark for Large Language Models [84.95327142027183]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳（メタデータ） (2023-01-24T18:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。