論文の概要: WatME: Towards Lossless Watermarking Through Lexical Redundancy
- arxiv url: http://arxiv.org/abs/2311.09832v2
- Date: Fri, 16 Feb 2024 14:58:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 19:57:46.439212
- Title: WatME: Towards Lossless Watermarking Through Lexical Redundancy
- Title(参考訳): WatME: レキシカル冗長性による無意味な透かしを目指して
- Authors: Liang Chen, Yatao Bian, Yang Deng, Deng Cai, Shuaiyi Li, Peilin Zhao,
Kam-fai Wong
- Abstract要約: 相互排他型透かし(WatME)という新しいアプローチを導入する。
WatMEは、言語モデルの復号過程において利用可能な語彙の使用を動的に最適化する。
本稿では,WatMEが大規模言語モデルのテキスト生成能力を大幅に維持していることを示す理論的解析と実証的証拠を示す。
- 参考スコア(独自算出の注目度): 61.55924872561569
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text watermarking has emerged as an important technique for detecting
machine-generated text. However, existing methods generally use arbitrary
vocabulary partitioning during decoding, which results in the absence of
appropriate words during the response generation and disrupts the language
model's expressiveness, thus severely degrading the quality of text response.
To address these issues, we introduce a novel approach, Watermarking with
Mutual Exclusion (WatME). Specifically, by leveraging linguistic prior
knowledge of inherent lexical redundancy, WatME can dynamically optimize the
use of available vocabulary during the decoding process of language models. It
employs a mutually exclusive rule to manage this redundancy, avoiding
situations where appropriate words are unavailable and maintaining the
expressive power of large language models (LLMs). We present theoretical
analysis and empirical evidence demonstrating that WatME substantially
preserves the text generation ability of LLMs while maintaining watermark
detectability. Specifically, we investigate watermarking's impact on the
emergent abilities of LLMs, including knowledge recall and logical reasoning.
Our comprehensive experiments confirm that WatME consistently outperforms
existing methods in retaining these crucial capabilities of LLMs. Our code will
be released to facilitate future research.
- Abstract(参考訳): テキスト透かしは機械生成テキストを検出する重要な技術として出現した。
しかし、既存の手法では、デコード中に任意の語彙分割を使い、その結果、応答生成中に適切な単語が無くなり、言語モデルの表現力が損なわれ、テキスト応答の品質が著しく低下する。
これらの問題に対処するため、我々はWatME(Watmarking with Mutual Exclusion)という新しいアプローチを導入する。
具体的には、固有語彙冗長性の言語的事前知識を活用することで、WatMEは言語モデルの復号過程において利用可能な語彙の使用を動的に最適化することができる。
この冗長性を管理するために相互排他的なルールを採用し、適切な単語が使用できない状況を避け、大言語モデル(llm)の表現力を維持する。
本稿では,WatMEが透かし検出性を維持しつつ,LLMのテキスト生成能力を著しく維持していることを示す理論的解析と実証的証拠を示す。
具体的には,知識リコールや論理推論などllmの創発的能力に対するウォーターマーキングの影響について検討する。
我々の総合的な実験により、WatMEはLLMのこれらの重要な機能を維持する上で、既存の方法よりも一貫して優れています。
私たちのコードは将来の研究を促進するためにリリースされます。
関連論文リスト
- Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - A Survey on LLM-generated Text Detection: Necessity, Methods, and Future
Directions [41.71052488278973]
LLM生成テキストを検出できる検出器を開発する必要がある。
このことは、LLMが生成するコンテンツの有害な影響から、LLMの潜在的な誤用や、芸術的表現やソーシャルネットワークのような保護領域の軽減に不可欠である。
検出器技術は最近、透かし技術、ゼロショット法、微動LMs法、対向学習法、LSMを検出器として使う方法、そして人力支援法などの革新によって、顕著な進歩をみせている。
論文 参考訳(メタデータ) (2023-10-23T09:01:13Z) - Towards Codable Watermarking for Injecting Multi-bit Information to LLM [90.13097900576113]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
LLMの悪用を防ぐために、テキストのソースを特定する必要性が高まっている。
テキスト透かし技術は、LLMによってテキストが生成されるかどうかを識別する上で信頼性があることが証明されている。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - Watermarking Conditional Text Generation for AI Detection: Unveiling
Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。
実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2023-07-25T20:24:22Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - Language Detoxification with Attribute-Discriminative Latent Space [59.167432249229584]
トランスフォーマーベースの言語モデル(LM)は、自然言語理解タスクにおいて印象的な結果を得た。
また、侮辱、脅し、暴言などの有毒なテキストを生成でき、現実世界の応用を制限できる。
本稿では,属性識別型潜在空間を用いた効果的かつ効率的な言語解毒法を提案する。
論文 参考訳(メタデータ) (2022-10-19T06:54:42Z) - Tracing Text Provenance via Context-Aware Lexical Substitution [81.49359106648735]
文脈を考慮した語彙置換に基づく自然言語透かし方式を提案する。
主観的および主観的尺度の両面において,我々の透かし方式は原文の意味的整合性を十分に維持することができる。
論文 参考訳(メタデータ) (2021-12-15T04:27:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。