論文の概要: PostMark: A Robust Blackbox Watermark for Large Language Models
- arxiv url: http://arxiv.org/abs/2406.14517v1
- Date: Thu, 20 Jun 2024 17:27:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 12:33:17.511101
- Title: PostMark: A Robust Blackbox Watermark for Large Language Models
- Title（参考訳）: PostMark: 大規模言語モデルのためのロバストなブラックボックスの透かし
- Authors: Yapei Chang, Kalpesh Krishna, Amir Houmansadr, John Wieting, Mohit Iyyer,
- Abstract要約: モジュール式ポストホックウォーターマーキング手法であるPostMarkを開発した。
PostMarkはロジットアクセスを必要としないため、サードパーティによって実装することができる。
PostMarkは既存のウォーターマーキング手法よりも,攻撃を言い換える方が堅牢であることを示す。
- 参考スコア（独自算出の注目度）: 56.63560134428716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The most effective techniques to detect LLM-generated text rely on inserting a detectable signature -- or watermark -- during the model's decoding process. Most existing watermarking methods require access to the underlying LLM's logits, which LLM API providers are loath to share due to fears of model distillation. As such, these watermarks must be implemented independently by each LLM provider. In this paper, we develop PostMark, a modular post-hoc watermarking procedure in which an input-dependent set of words (determined via a semantic embedding) is inserted into the text after the decoding process has completed. Critically, PostMark does not require logit access, which means it can be implemented by a third party. We also show that PostMark is more robust to paraphrasing attacks than existing watermarking methods: our experiments cover eight baseline algorithms, five base LLMs, and three datasets. Finally, we evaluate the impact of PostMark on text quality using both automated and human assessments, highlighting the trade-off between quality and robustness to paraphrasing. We release our code, outputs, and annotations at https://github.com/lilakk/PostMark.
- Abstract（参考訳）: LLM生成テキストを検出する最も効果的なテクニックは、モデルのデコードプロセス中に検出可能なシグネチャ(または透かし)を挿入することに依存する。
既存の透かし法の多くは、LLMのロジットへのアクセスを必要としており、LLM APIプロバイダは、モデル蒸留の恐れのために共有することを誓っている。
したがって、これらの透かしはそれぞれのLCMプロバイダによって独立に実装されなければならない。
本稿では,デコード処理が完了した後,入力依存の単語(セマンティック埋め込みによって決定される)をテキストに挿入するモジュール式ポストマーク手法であるPostMarkを開発する。
重要なことは、PostMarkはロジットアクセスを必要としないため、サードパーティによって実装することができる。
実験では8つのベースラインアルゴリズム、5つのベースLLM、3つのデータセットをカバーしています。
最後に、自動評価と人的評価の両方を用いて、PostMarkがテキスト品質に与える影響を評価し、パラフレーズ化に対する品質と堅牢性の間のトレードオフを強調した。
コード、出力、アノテーションはhttps://github.com/lilakk/PostMarkで公開しています。
関連論文リスト
- Can Watermarked LLMs be Identified by Users via Crafted Prompts? [55.460327393792156]
この研究は、透かし付き大言語モデル(LLM)の非受容性を初めて研究したものである。
我々は、よく設計されたプロンプトを通して透かしを検出する、Water-Probeと呼ばれる識別アルゴリズムを設計する。
実験の結果、ほとんどの主流の透かしアルゴリズムは、よく設計されたプロンプトと容易に識別できることがわかった。
論文 参考訳（メタデータ） (2024-10-04T06:01:27Z) - Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。
提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
論文 参考訳（メタデータ） (2024-07-17T18:52:12Z) - MarkLLM: An Open-Source Toolkit for LLM Watermarking [80.00466284110269]
MarkLLMは、LLMウォーターマーキングアルゴリズムを実装するためのオープンソースのツールキットである。
評価のために、MarkLLMは3つの視点にまたがる12のツールと、2種類の自動評価パイプラインを提供する。
論文 参考訳（メタデータ） (2024-05-16T12:40:01Z) - Learning to Watermark LLM-generated Text via Reinforcement Learning [16.61005372279407]
誤用追跡のためのLCM出力の透かしについて検討する。
出力に信号を埋め込むモデルレベルの透かしを設計する。
強化学習に基づく協調学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-13T03:43:39Z) - Turning Your Strength into Watermark: Watermarking Large Language Model via Knowledge Injection [66.26348985345776]
本稿では,知識注入に基づく大規模言語モデル(LLM)のための新しい透かし手法を提案する。
透かし埋め込みの段階では、まず選択した知識に透かしを埋め込んで、透かし付き知識を得る。
透かし抽出段階では、疑わしいLLMを問うために、透かし付き知識に関する質問を設計する。
実験により, 透かし抽出の成功率は100%近くであり, 提案手法の有効性, 忠実性, ステルス性, 堅牢性を示した。
論文 参考訳（メタデータ） (2023-11-16T03:22:53Z) - A Robust Semantics-based Watermark for Large Language Model against Paraphrasing [50.84892876636013]
大規模言語モデル(LLM)は、様々な自然言語処理において優れた能力を示している。
LLMは不適切にも違法にも使用できるという懸念がある。
本稿ではセマンティクスに基づく透かしフレームワークSemaMarkを提案する。
論文 参考訳（メタデータ） (2023-11-15T06:19:02Z) - A Semantic Invariant Robust Watermark for Large Language Models [27.522264953691746]
以前の透かしアルゴリズムは、攻撃の堅牢性とセキュリティの堅牢性の間のトレードオフに直面していた。
これは、トークンの透かしロジットが、先行するトークンの数によって決定されるためである。
攻撃の堅牢性とセキュリティの堅牢性の両方を提供するLLMのセマンティック不変な透かし手法を提案する。
論文 参考訳（メタデータ） (2023-10-10T06:49:43Z) - Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。
テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
論文 参考訳（メタデータ） (2023-07-29T14:11:15Z) - Provable Robust Watermarking for AI-Generated Text [41.5510809722375]
We propose a robust and high-quality watermark method, Unigram-Watermark。
提案手法は,テキストの編集やパラフレージングに頑健で,生成品質,透かし検出の精度が保証されていることを実証する。
論文 参考訳（メタデータ） (2023-06-30T07:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。