論文の概要: On Evaluating The Performance of Watermarked Machine-Generated Texts Under Adversarial Attacks

• arxiv url: http://arxiv.org/abs/2407.04794v2
• Date: Thu, 28 Nov 2024 11:28:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:18:04.671433
• Title: On Evaluating The Performance of Watermarked Machine-Generated Texts Under Adversarial Attacks
• Title（参考訳）: 敵対的攻撃下における透かし付き機械生成テキストの性能評価について
• Authors: Zesen Liu, Tianshuo Cong, Xinlei He, Qi Li,
• Abstract要約: まず、メインストリームのウォーターマーキングスキームと、機械生成テキストに対する削除攻撃を組み合わせます。 8つの透かし(5つのプレテキスト、3つのポストテキスト)と12のアタック(2つのプレテキスト、10のポストテキスト)を87のシナリオで評価した。 その結果、KGWとExponentialの透かしは高いテキスト品質と透かしの保持を提供するが、ほとんどの攻撃に対して脆弱であることが示唆された。
• 参考スコア（独自算出の注目度）: 20.972194348901958
• License:
• Abstract: Large Language Models (LLMs) excel in various applications, including text generation and complex tasks. However, the misuse of LLMs raises concerns about the authenticity and ethical implications of the content they produce, such as deepfake news, academic fraud, and copyright infringement. Watermarking techniques, which embed identifiable markers in machine-generated text, offer a promising solution to these issues by allowing for content verification and origin tracing. Unfortunately, the robustness of current LLM watermarking schemes under potential watermark removal attacks has not been comprehensively explored. In this paper, to fill this gap, we first systematically comb the mainstream watermarking schemes and removal attacks on machine-generated texts, and then we categorize them into pre-text (before text generation) and post-text (after text generation) classes so that we can conduct diversified analyses. In our experiments, we evaluate eight watermarks (five pre-text, three post-text) and twelve attacks (two pre-text, ten post-text) across 87 scenarios. Evaluation results indicate that (1) KGW and Exponential watermarks offer high text quality and watermark retention but remain vulnerable to most attacks; (2) Post-text attacks are found to be more efficient and practical than pre-text attacks; (3) Pre-text watermarks are generally more imperceptible, as they do not alter text fluency, unlike post-text watermarks; (4) Additionally, combined attack methods can significantly increase effectiveness, highlighting the need for more robust watermarking solutions. Our study underscores the vulnerabilities of current techniques and the necessity for developing more resilient schemes.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト生成や複雑なタスクなど、様々なアプリケーションで優れている。 しかし、LLMの誤用は、ディープフェイクニュース、学術的詐欺、著作権侵害など、彼らが生み出すコンテンツの真正性と倫理的意味に関する懸念を引き起こす。 機械生成テキストに識別可能なマーカーを埋め込むウォーターマーキング技術は、コンテンツ検証と起点追跡を可能にすることで、これらの問題に対する有望な解決策を提供する。 残念なことに、透かし除去攻撃による現在のLLM透かし方式の堅牢性は、包括的に調査されていない。 本稿では,このギャップを埋めるために,まず,機械が生成したテキストに対して,主流の透かし方式と除去攻撃を体系的に組み込んだ上で,それらをプリテキスト(テキスト生成前)とポストテキスト(テキスト生成後)に分類し,多種多様な分析を行う。 実験では,87のシナリオで8つの透かし(5つのプレテキスト,3つのポストテキスト)と12のアタック(2つのプレテキスト,10のポストテキスト)を評価した。 評価結果は,(1)KGWとExponentialの透かしは高い品質と透かしの保持を提供するが,ほとんどの攻撃に対して脆弱であること,(2)ポストテキスト攻撃はプレテキスト攻撃よりも効率的で実用的であること,(3)プレテキストの透かしは,ポストテキストの透かしと異なりテキストの流布を変更せず,一般的には認識できないこと,(4)組み合わせた攻撃手法は,より堅牢な透かし解の必要性を強調すること,などが示唆された。 本研究は、現在の手法の脆弱性と、より弾力性のあるスキームを開発する必要性を明らかにするものである。

関連論文リスト

• Revisiting the Robustness of Watermarking to Paraphrasing Attacks [10.68370011459729]
  多くの最近の透かし技術は、後に検出できる出力に信号を埋め込むためにLMの出力確率を変更する。 ブラックボックス型透かしモデルから限られた世代にしかアクセスできないため,パラフレーズ攻撃による透かし検出の回避効果を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-11-08T02:22:30Z)
• Topic-Based Watermarks for LLM-Generated Text [46.71493672772134]
  本稿では,大規模言語モデル(LLM)のためのトピックベースの新しい透かしアルゴリズムを提案する。 トピック固有のトークンバイアスを使用することで、生成されたテキストにトピック依存の透かしを埋め込む。 提案手法は,テキストトピックを99.99%の信頼度で分類する。
  論文  参考訳（メタデータ） (2024-04-02T17:49:40Z)
• Duwak: Dual Watermarks in Large Language Models [49.00264962860555]
  トークン確率分布とサンプリングスキームの両方に二重秘密パターンを埋め込むことにより、透かしの効率と品質を向上させるために、Duwakを提案する。 Llama2でDuwakを4つの最先端透かし技術と組み合わせて評価した。
  論文  参考訳（メタデータ） (2024-03-12T16:25:38Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• A Survey of Text Watermarking in the Era of Large Language Models [91.36874607025909]
  テキスト透かしアルゴリズムは、テキストコンテンツの著作権を保護するために不可欠である。 大規模言語モデル(LLM)の最近の進歩は、これらの技術に革命をもたらした。 本稿では,テキスト透かし技術の現状を包括的に調査する。
  論文  参考訳（メタデータ） (2023-12-13T06:11:42Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
  本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。 実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-25T20:24:22Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。