論文の概要: Advancing Beyond Identification: Multi-bit Watermark for Large Language
Models
- arxiv url: http://arxiv.org/abs/2308.00221v2
- Date: Wed, 27 Sep 2023 04:08:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-28 19:01:22.199913
- Title: Advancing Beyond Identification: Multi-bit Watermark for Large Language
Models
- Title(参考訳): 識別を超えた拡張:大規模言語モデルのためのマルチビット透かし
- Authors: KiYoon Yoo, Wonhyuk Ahn, Nojun Kwak
- Abstract要約: 本稿では,機械生成テキストの識別以外にも,大規模言語モデルの誤用に対処する手法を提案する。
言語モデル生成中にトレーサブルなマルチビット情報を埋め込んだ位置アロケーションによるマルチビット透かしを提案する。
- 参考スコア(独自算出の注目度): 34.915229097503044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a method to tackle misuses of large language models beyond the
identification of machine-generated text. While existing methods focus on
detection, some malicious misuses demand tracing the adversary user for
counteracting them. To address this, we propose Multi-bit Watermark via
Position Allocation, embedding traceable multi-bit information during language
model generation. Leveraging the benefits of zero-bit watermarking, our method
enables robust extraction of the watermark without any model access, embedding
and extraction of long messages ($\geq$ 32-bit) without finetuning, and
maintaining text quality, while allowing zero-bit detection all at the same
time. Moreover, our watermark is relatively robust under strong attacks like
interleaving human texts and paraphrasing.
- Abstract(参考訳): 本稿では,機械生成テキストの識別以外の大規模言語モデルの誤用に対処する手法を提案する。
既存の手法は検出に重点を置いているが、悪意のある誤用によっては、敵ユーザーの反作用を追跡する要求がある。
そこで我々は,言語モデル生成中にトレーサブルなマルチビット情報を埋め込み,位置割当によるマルチビット透かしを提案する。
提案手法は,ゼロビット透かしの利点を生かして,モデルアクセスを必要とせず,長いメッセージ($32-bit)の埋め込みと抽出を微調整なしで行うことができ,テキストの品質を維持しつつ,ゼロビット検出を同時に行うことができる。
さらに、私たちの透かしは、人間のテキストとパラフレーズを交わすような強い攻撃の下で比較的堅牢です。
関連論文リスト
- Duwak: Dual Watermarks in Large Language Models [49.00264962860555]
トークン確率分布とサンプリングスキームの両方に二重秘密パターンを埋め込むことにより、透かしの効率と品質を向上させるために、Duwakを提案する。
Llama2でDuwakを4つの最先端透かし技術と組み合わせて評価した。
論文 参考訳(メタデータ) (2024-03-12T16:25:38Z) - Multi-Bit Distortion-Free Watermarking for Large Language Models [4.7381853007029475]
透かしの一部としてメタ情報の複数ビットを埋め込むことにより,既存のゼロビット歪みのない透かし法を拡張した。
また,少ないビット誤り率で透かしから埋め込み情報を抽出する計算効率の良い復号器を開発した。
論文 参考訳(メタデータ) (2024-02-26T14:01:34Z) - Provably Robust Multi-bit Watermarking for AI-generated Text via Error Correction Code [39.96262132464419]
大規模言語モデル(LLM)は、人間の言語に似たテキストを生成する能力のために広くデプロイされている。
偽ニュースやフィッシングメールなど、偽のコンテンツを作るために犯罪者に誤用される可能性がある。
透かしはLLMの誤用を軽減する重要なテクニックであり、透かしをテキストに埋め込む。
論文 参考訳(メタデータ) (2024-01-30T08:46:48Z) - Mark My Words: Analyzing and Evaluating Language Model Watermarks [8.610361087746718]
本研究は、画像透かしとは対照的に、テキスト透かし技術に焦点を当て、MARKMYWORDSを提案する。
品質、サイズ(透かしを検出するのに必要なトークンの数など)、タンパー抵抗の3つの主要な指標に注目します。
我々は、いくつかの先行研究で強調された基準である透かしの不明瞭さは、要求が強すぎると論じている。
論文 参考訳(メタデータ) (2023-12-01T01:22:46Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - An Unforgeable Publicly Verifiable Watermark for Large Language Models [88.50683534978407]
現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要とする。
本稿では、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う、偽造不可能な検証可能な透かしアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-30T13:43:27Z) - On the Reliability of Watermarks for Large Language Models [95.87476978352659]
本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。
人や機械の言い回しをしても、透かしは検出可能である。
また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
論文 参考訳(メタデータ) (2023-06-07T17:58:48Z) - Undetectable Watermarks for Language Models [1.347733333991357]
本稿では,言語モデルに対する検出不能な透かしの概念を紹介する。
透かしは秘密鍵の知識でのみ検出できます
一方向関数の存在に基づいて検出不能な透かしを構築する。
論文 参考訳(メタデータ) (2023-05-25T02:57:16Z) - Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。
リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。
我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
論文 参考訳(メタデータ) (2023-05-14T07:37:33Z) - A Watermark for Large Language Models [84.95327142027183]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳(メタデータ) (2023-01-24T18:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。