論文の概要: GumbelSoft: Diversified Language Model Watermarking via the
GumbelMax-trick
- arxiv url: http://arxiv.org/abs/2402.12948v1
- Date: Tue, 20 Feb 2024 12:05:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 15:33:15.103741
- Title: GumbelSoft: Diversified Language Model Watermarking via the
GumbelMax-trick
- Title(参考訳): GumbelSoft: GumbelMax-trickによる多言語モデル透かし
- Authors: Jiayi Fu, Xuandong Zhao, Ruihan Yang, Yuansen Zhang, Jiangjie Chen,
Yanghua Xiao
- Abstract要約: 大型言語モデル(LLM)は、人間のようなテキストを生成するだけでなく、フェイクニュースや学術的不正の誤用も懸念している。
デコードベースの透かし、特にGumbelMax-trickベースの透かし(GM透かし)は、機械生成テキストを保護するためのスタンドアウトソリューションである。
我々は,新しいタイプのGM透かし,Logits-Addition透かし,およびその3つの変種を提案する。
- 参考スコア(独自算出の注目度): 52.87556347528717
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) excellently generate human-like text, but also
raise concerns about misuse in fake news and academic dishonesty.
Decoding-based watermark, particularly the GumbelMax-trick-based watermark(GM
watermark), is a standout solution for safeguarding machine-generated texts due
to its notable detectability. However, GM watermark encounters a major
challenge with generation diversity, always yielding identical outputs for the
same prompt, negatively impacting generation diversity and user experience. To
overcome this limitation, we propose a new type of GM watermark, the
Logits-Addition watermark, and its three variants, specifically designed to
enhance diversity. Among these, the GumbelSoft watermark (a softmax variant of
the Logits-Addition watermark) demonstrates superior performance in high
diversity settings, with its AUROC score outperforming those of the two
alternative variants by 0.1 to 0.3 and surpassing other decoding-based
watermarking methods by a minimum of 0.1.
- Abstract(参考訳): 大型言語モデル(LLM)は、人間のようなテキストを生成するだけでなく、フェイクニュースや学術的不正の誤用も懸念している。
デコードベースのウォーターマーク、特にgumbelmax-trick-based watermark(gm watermark)は、顕著な検出性のため、マシン生成テキストを保護するためのスタンアウトソリューションである。
しかし、gmのウォーターマークは世代多様性において大きな課題に遭遇し、常に同じプロンプトで同じ出力を生成し、世代多様性とユーザエクスペリエンスに悪影響を及ぼす。
この制限を克服するために,gmウォーターマークの新しいタイプ,logits-additionウォーターマーク,およびその3つの変種を提案する。
このうち、gumbelsoft watermark(logits-addition watermarkのソフトマックス変種)は、aurocスコアが0.1から0.3の2つの異なる変種を上回り、デコードベースのウォーターマーキング法を最小0.1に上回り、高い多様性設定で優れた性能を示している。
関連論文リスト
- Multi-Bit Distortion-Free Watermarking for Large Language Models [4.7381853007029475]
透かしの一部としてメタ情報の複数ビットを埋め込むことにより,既存のゼロビット歪みのない透かし法を拡張した。
また,少ないビット誤り率で透かしから埋め込み情報を抽出する計算効率の良い復号器を開発した。
論文 参考訳(メタデータ) (2024-02-26T14:01:34Z) - Adaptive Text Watermark for Large Language Models [9.569222603139332]
プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。
本稿では,この問題に対処するための適応型透かし手法を提案する。
論文 参考訳(メタデータ) (2024-01-25T03:57:12Z) - On the Learnability of Watermarks for Language Models [80.97358663708592]
言語モデルが透かし付きテキストを生成するために直接学習できるかどうかを問う。
本稿では,教師モデルとして振舞う学生モデルを訓練する透かし蒸留法を提案する。
モデルは、高い検出性で透かし付きテキストを生成することができる。
論文 参考訳(メタデータ) (2023-12-07T17:41:44Z) - Mark My Words: Analyzing and Evaluating Language Model Watermarks [8.610361087746718]
本研究は、画像透かしとは対照的に、テキスト透かし技術に焦点を当て、MARKMYWORDSを提案する。
品質、サイズ(透かしを検出するのに必要なトークンの数など)、タンパー抵抗の3つの主要な指標に注目します。
我々は、いくつかの先行研究で強調された基準である透かしの不明瞭さは、要求が強すぎると論じている。
論文 参考訳(メタデータ) (2023-12-01T01:22:46Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - Unbiased Watermark for Large Language Models [67.43415395591221]
本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。
出力確率分布に影響を与えることなく、透かしを統合することができる。
ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
論文 参考訳(メタデータ) (2023-09-22T12:46:38Z) - A Watermark for Large Language Models [84.95327142027183]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳(メタデータ) (2023-01-24T18:52:59Z) - Certified Neural Network Watermarks with Randomized Smoothing [64.86178395240469]
本稿では,ディープラーニングモデルのための認証型透かし手法を提案する。
我々の透かしは、モデルパラメータが特定のl2しきい値以上変更されない限り、取り外し不可能であることが保証されている。
私たちの透かしは、従来の透かし法に比べて経験的に頑丈です。
論文 参考訳(メタデータ) (2022-07-16T16:06:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。