論文の概要: An Entropy-based Text Watermarking Detection Method

• arxiv url: http://arxiv.org/abs/2403.13485v4
• Date: Sun, 9 Jun 2024 06:51:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 00:43:59.831939
• Title: An Entropy-based Text Watermarking Detection Method
• Title（参考訳）: エントロピーに基づくテキスト透かし検出法
• Authors: Yijian Lu, Aiwei Liu, Dianzhi Yu, Jingjing Li, Irwin King,
• Abstract要約: トークンエントロピーの影響は、透かし検出プロセスにおいて完全に考慮すべきである。 我々は,textbfEntropy-based TextbfWatermarking textbfEWD (textbfEWD)を提案する。
• 参考スコア（独自算出の注目度）: 41.40123238040657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text watermarking algorithms for large language models (LLMs) can effectively identify machine-generated texts by embedding and detecting hidden features in the text. Although the current text watermarking algorithms perform well in most high-entropy scenarios, its performance in low-entropy scenarios still needs to be improved. In this work, we opine that the influence of token entropy should be fully considered in the watermark detection process, $i.e.$, the weight of each token during watermark detection should be customized according to its entropy, rather than setting the weights of all tokens to the same value as in previous methods. Specifically, we propose \textbf{E}ntropy-based Text \textbf{W}atermarking \textbf{D}etection (\textbf{EWD}) that gives higher-entropy tokens higher influence weights during watermark detection, so as to better reflect the degree of watermarking. Furthermore, the proposed detection process is training-free and fully automated. From the experiments, we demonstrate that our EWD can achieve better detection performance in low-entropy scenarios, and our method is also general and can be applied to texts with different entropy distributions. Our code and data is available\footnote{\url{https://github.com/luyijian3/EWD}}. Additionally, our algorithm could be accessed through MarkLLM \cite{pan2024markllm}\footnote{\url{https://github.com/THU-BPM/MarkLLM}}.
• Abstract（参考訳）: 大規模言語モデル(LLM)のためのテキスト透かしアルゴリズムは、テキストに隠れた特徴を埋め込んで検出することにより、機械生成したテキストを効果的に識別することができる。 現在のテキスト透かしアルゴリズムは、ほとんどの高エントロピーシナリオでよく機能するが、低エントロピーシナリオでの性能は改善する必要がある。 本研究では,透かし検出過程におけるトークンエントロピーの影響について,従来の方法と同じ値にすべてのトークンの重みを設定するのではなく,そのエントロピーに応じて各トークンの重みをカスタマイズする。 具体的には,ハイエントロピートークンが透かし検出時の重みによく影響し,透かしの度合いをよりよく反映する,テクストbf{E}ntropy-based Text \textbf{W}atermarking \textbf{D}etection (\textbf{EWD})を提案する。 さらに、提案する検出プロセスは、トレーニング不要で、完全に自動化されている。 実験により,EWDは低エントロピーシナリオにおける検出性能が向上し,また本手法は汎用的で,異なるエントロピー分布を持つテキストにも適用可能であることを示した。 コードとデータは利用可能である。footnote{\url{https://github.com/luyijian3/EWD}}。 さらに、我々のアルゴリズムはMarkLLM \cite{pan2024markllm}\footnote{\url{https://github.com/THU-BPM/MarkLLM}}を介してアクセスすることができる。

関連論文リスト

• Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
  大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。 ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。 ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。 本手法は,検出性と意味的整合性を同時に達成する。
  論文  参考訳（メタデータ） (2024-02-28T05:43:22Z)
• Performance Trade-offs of Watermarking Large Language Models [28.556397738117617]
  各種タスクにおいて,透かし付き大規模言語モデル (LLM) の性能を評価する。 ウォーターマーキングがkクラス分類問題として生じるタスクのパフォーマンスに無視できない影響があることが判明した。 要約や翻訳などの長文生成タスクでは、透かしによる性能の15～20%低下が見られる。
  論文  参考訳（メタデータ） (2023-11-16T11:44:58Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• A Semantic Invariant Robust Watermark for Large Language Models [27.522264953691746]
  以前の透かしアルゴリズムは、攻撃の堅牢性とセキュリティの堅牢性の間のトレードオフに直面していた。 これは、トークンの透かしロジットが、先行するトークンの数によって決定されるためである。 攻撃の堅牢性とセキュリティの堅牢性の両方を提供するLLMのセマンティック不変な透かし手法を提案する。
  論文  参考訳（メタデータ） (2023-10-10T06:49:43Z)
• An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
  現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。 両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
  論文  参考訳（メタデータ） (2023-07-30T13:43:27Z)
• Robust Distortion-free Watermarks for Language Models [85.55407177530746]
  本稿では,自動回帰言語モデルからテキストに透かしを植え付ける手法を提案する。 言語モデルから乱数列をサンプルにマッピングすることで、透かし付きテキストを生成する。
  論文  参考訳（メタデータ） (2023-07-28T14:52:08Z)
• Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
  テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。 リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。 我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-14T07:37:33Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。