論文の概要: A Private Watermark for Large Language Models
- arxiv url: http://arxiv.org/abs/2307.16230v1
- Date: Sun, 30 Jul 2023 13:43:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 16:48:22.111922
- Title: A Private Watermark for Large Language Models
- Title(参考訳): 大規模言語モデルのためのプライベートウォーターマーク
- Authors: Aiwei Liu, Leyi Pan, Xuming Hu, Shu'ang Li, Lijie Wen, Irwin King and
Philip S. Yu
- Abstract要約: 本稿では,2つの異なるニューラルネットワークを用いて,現在のテキスト透かしアルゴリズムを拡張した最初のプライベート透かしアルゴリズムを提案する。
本アルゴリズムは,両ネットワークのパラメータサイズが小さいため,生成速度と検出速度に最小限の影響を伴って高い検出精度を確保する。
- 参考スコア(独自算出の注目度): 78.94268839456248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, text watermarking algorithms for large language models (LLMs) have
been mitigating the potential harms of text generated by the LLMs, including
fake news and copyright issues. However, the watermark detection of current
text algorithms requires the key from the generation process, making them
susceptible to breaches and counterfeiting. In this work, we propose the first
private watermarking algorithm, which extends the current text watermarking
algorithms by using two different neural networks respectively for watermark
generation and detection, rather than using the same key at both stages.
Meanwhile, part of the parameters of the watermark generation and detection
networks are shared, which makes the detection network achieve a high accuracy
very efficiently. Experiments show that our algorithm ensures high detection
accuracy with minimal impact on generation and detection speed, due to the
small parameter size of both networks. Additionally, our subsequent analysis
demonstrates the difficulty of reverting the watermark generation rules from
the detection network.
- Abstract(参考訳): 近年,大型言語モデル (LLM) のテキスト透かしアルゴリズムは,偽ニュースや著作権問題を含むLLMが生成するテキストの潜在的な害を軽減している。
しかし、現在のテキストアルゴリズムの透かし検出には、生成プロセスのキーが必要であるため、違反や偽造の影響を受けやすい。
本研究では,両段階で同じキーを使用するのではなく,それぞれ異なる2つのニューラルネットワークを用いて電子透かしの生成と検出を行うことにより,現在のテキスト透かしアルゴリズムを拡張した最初のプライベート透かしアルゴリズムを提案する。
一方、透かし生成および検出ネットワークのパラメータの一部を共有することにより、検出ネットワークを極めて効率的に行うことができる。
実験の結果,両ネットワークのパラメータサイズが小さいため,生成速度と検出速度に最小限の影響を伴って高い検出精度が保証された。
また,その後の解析により,検出ネットワークからの透かし生成ルールの復元が困難であることを実証した。
関連論文リスト
- Duwak: Dual Watermarks in Large Language Models [49.00264962860555]
トークン確率分布とサンプリングスキームの両方に二重秘密パターンを埋め込むことにより、透かしの効率と品質を向上させるために、Duwakを提案する。
Llama2でDuwakを4つの最先端透かし技術と組み合わせて評価した。
論文 参考訳(メタデータ) (2024-03-12T16:25:38Z) - Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - Multi-Bit Distortion-Free Watermarking for Large Language Models [4.7381853007029475]
透かしの一部としてメタ情報の複数ビットを埋め込むことにより,既存のゼロビット歪みのない透かし法を拡張した。
また,少ないビット誤り率で透かしから埋め込み情報を抽出する計算効率の良い復号器を開発した。
論文 参考訳(メタデータ) (2024-02-26T14:01:34Z) - On the Reliability of Watermarks for Large Language Models [95.87476978352659]
本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。
人や機械の言い回しをしても、透かしは検出可能である。
また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
論文 参考訳(メタデータ) (2023-06-07T17:58:48Z) - Who Wrote this Code? Watermarking for Code Generation [55.54239495289517]
エントロピー閾値(SWEET)を用いた新しい透かし手法Selective WatErmarkingを提案する。
SWEETは、生成中のトークン分布のエントロピーが高い位置にのみ「グリーン」トークンをプロモートすることで、生成されたコードの正確性を維持する。
論文 参考訳(メタデータ) (2023-05-24T11:49:52Z) - A Watermark for Large Language Models [84.95327142027183]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳(メタデータ) (2023-01-24T18:52:59Z) - Reversible Watermarking in Deep Convolutional Neural Networks for
Integrity Authentication [78.165255859254]
整合性認証のための可逆透かしアルゴリズムを提案する。
可逆透かしを埋め込むことが分類性能に及ぼす影響は0.5%未満である。
同時に、可逆的な透かしを適用することでモデルの完全性を検証することができる。
論文 参考訳(メタデータ) (2021-04-09T09:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。