論文の概要: Robust Detection of Watermarks for Large Language Models Under Human Edits

• arxiv url: http://arxiv.org/abs/2411.13868v1
• Date: Thu, 21 Nov 2024 06:06:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:20:39.137471
• Title: Robust Detection of Watermarks for Large Language Models Under Human Edits
• Title（参考訳）: 人為的編集による大規模言語モデルのロバスト検出
• Authors: Xiang Li, Feng Ruan, Huiyuan Wang, Qi Long, Weijie J. Su,
• Abstract要約: そこで本研究では,人間の編集下での透かし検出のための不適切な良性テストの形で,新しい手法を提案する。 我々は,Gumbel-GoF透かしのロバスト検出において,Tr-GoF試験が最適性を達成することを証明した。 また, Tr-GoF試験は, 適度なテキスト修正方式において, 高い検出効率が得られることを示した。
• 参考スコア（独自算出の注目度）: 27.678152860666163
• License:
• Abstract: Watermarking has offered an effective approach to distinguishing text generated by large language models (LLMs) from human-written text. However, the pervasive presence of human edits on LLM-generated text dilutes watermark signals, thereby significantly degrading detection performance of existing methods. In this paper, by modeling human edits through mixture model detection, we introduce a new method in the form of a truncated goodness-of-fit test for detecting watermarked text under human edits, which we refer to as Tr-GoF. We prove that the Tr-GoF test achieves optimality in robust detection of the Gumbel-max watermark in a certain asymptotic regime of substantial text modifications and vanishing watermark signals. Importantly, Tr-GoF achieves this optimality \textit{adaptively} as it does not require precise knowledge of human edit levels or probabilistic specifications of the LLMs, in contrast to the optimal but impractical (Neyman--Pearson) likelihood ratio test. Moreover, we establish that the Tr-GoF test attains the highest detection efficiency rate in a certain regime of moderate text modifications. In stark contrast, we show that sum-based detection rules, as employed by existing methods, fail to achieve optimal robustness in both regimes because the additive nature of their statistics is less resilient to edit-induced noise. Finally, we demonstrate the competitive and sometimes superior empirical performance of the Tr-GoF test on both synthetic data and open-source LLMs in the OPT and LLaMA families.
• Abstract（参考訳）: ウォーターマーキングは、大きな言語モデル(LLM)が生成するテキストと人間の文章を区別する効果的なアプローチを提供する。 しかし, LLM 生成テキストにおけるヒト編集の広汎な存在は透かし信号を希釈し, 既存の方法の検出性能を著しく低下させる。 本稿では,混合モデル検出による人為的編集をモデル化することにより,人為的編集下での透かし検出のための不適切な善良さテストの形式で,Tr-GoFと呼ぶ新しい手法を提案する。 Tr-GoF試験は,有意なテキスト修正と透かし信号の消失という漸近的な状況下で,Gumbel-max透かしのロバスト検出において最適性を達成することを証明した。 重要なことは、Tr-GoFはこの最適性を達成し、人間の編集レベルやLLMの確率的仕様の正確な知識を必要としないからである。 さらに, Tr-GoF試験は, 適度なテキスト修正の状況において, 高い検出効率を達成できることを確認した。 対照的に,既存の手法で用いられる和に基づく検出規則は,それらの統計の付加的性質が編集によるノイズに対する耐性が低いため,両レジームの最適ロバスト性を達成することができないことを示す。 最後に,OPT および LLaMA ファミリーにおける合成データとオープンソース LLM の双方に対して,Tr-GoF 試験の競合性能と,時として優れた実験性能を示す。

関連論文リスト

• Debiasing Watermarks for Large Language Models via Maximal Coupling [24.937491193018623]
  本稿では,グリーントークンの生成確率を微妙に増大させる新しいグリーン/レッドリスト透かし手法を提案する。 実験結果から,高い検出性を維持しつつテキスト品質を保ちつつ,従来技術よりも優れていたことが示唆された。 本研究は,テキスト品質への影響を最小限に抑えつつ,効果的な検出のバランスを保ちながら,言語モデルに有望な透かしソリューションを提供する。
  論文  参考訳（メタデータ） (2024-11-17T23:36:37Z)
• Signal Watermark on Large Language Models [28.711745671275477]
  本稿では,Large Language Models (LLMs) によるテキストに特定の透かしを埋め込む透かし手法を提案する。 この技術は、透かしが人間に見えないことを保証するだけでなく、モデル生成テキストの品質と文法的整合性も維持する。 提案手法は複数のLDMに対して実験的に検証され,高い検出精度を維持している。
  論文  参考訳（メタデータ） (2024-10-09T04:49:03Z)
• Universally Optimal Watermarking Schemes for LLMs: from Theory to Practice [35.319577498993354]
  大きな言語モデル(LLM)は人間の効率を高めるが、誤用リスクを引き起こす。 本稿では,LLMの透かしのための新しい理論的枠組みを提案する。 我々は,検出性能を最大化するために,透かし方式と検出器の両方を共同で最適化する。
  論文  参考訳（メタデータ） (2024-10-03T18:28:10Z)
• WaterSeeker: Pioneering Efficient Detection of Watermarked Segments in Large Documents [65.11018806214388]
  WaterSeekerは、広範囲な自然テキストの中で、ウォーターマークされたセグメントを効率的に検出し、発見するための新しいアプローチである。 検出精度と計算効率のバランスが良くなる。 WaterSeekerのローカライゼーション機能は、解釈可能なAI検出システムの開発をサポートする。
  論文  参考訳（メタデータ） (2024-09-08T14:45:47Z)
• A Statistical Framework of Watermarks for Large Language Models: Pivot, Detection Efficiency and Optimal Rules [27.678152860666163]
  我々は,透かしの統計的効率と強力な検出規則を推論するための枠組みを導入する。 枠組みに基づく透かしの最適検出規則を導出する。
  論文  参考訳（メタデータ） (2024-04-01T17:03:41Z)
• Duwak: Dual Watermarks in Large Language Models [49.00264962860555]
  トークン確率分布とサンプリングスキームの両方に二重秘密パターンを埋め込むことにより、透かしの効率と品質を向上させるために、Duwakを提案する。 Llama2でDuwakを4つの最先端透かし技術と組み合わせて評価した。
  論文  参考訳（メタデータ） (2024-03-12T16:25:38Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
  本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。 実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-25T20:24:22Z)
• Provable Robust Watermarking for AI-Generated Text [41.5510809722375]
  We propose a robust and high-quality watermark method, Unigram-Watermark。 提案手法は,テキストの編集やパラフレージングに頑健で,生成品質,透かし検出の精度が保証されていることを実証する。
  論文  参考訳（メタデータ） (2023-06-30T07:24:32Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。