論文の概要: FunctionMarker: Watermarking Language Datasets via Knowledge Injection
- arxiv url: http://arxiv.org/abs/2311.09535v2
- Date: Fri, 17 Nov 2023 05:00:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 23:12:35.485760
- Title: FunctionMarker: Watermarking Language Datasets via Knowledge Injection
- Title(参考訳): FunctionMarker:知識注入による透かし言語データセット
- Authors: Shuai Li, Kejiang Chen, Kunsheng Tang, Wen Huang, Jie Zhang, Weiming Zhang, Nenghai Yu,
- Abstract要約: バックドアベースの透かしは、分類データセットの著作権を保護するための実行可能なアプローチである。
本稿では,知識注入による言語データセットの著作権保護手法であるFunctionMarkerを提案する。
- 参考スコア(独自算出の注目度): 65.33166992656024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have demonstrated superior performance in various natural language processing tasks. Meanwhile, they require extensive training data, raising concerns related to dataset copyright protection. Backdoor-based watermarking is a viable approach to protect the copyright of classification datasets. However, these methods may introduce malicious misclassification behaviors into watermarked LLMs by attackers and also affect the semantic information of the watermarked text. To address these issues, we propose FunctionMarker, a novel copyright protection method for language datasets via knowledge injection. FunctionMarker enables LLMs to learn specific knowledge through fine-tuning on watermarked datasets, and we can extract the embedded watermark by obtaining the responses of LLMs to specific knowledge-related queries. Considering watermark capacity and stealthness, we select customizable functions as specific knowledge for LLMs to learn and embed the watermark into them. Moreover, FunctionMarker can embed multi-bit watermarks while preserving the original semantic information, thereby increasing the difficulty of adaptive attacks. We take mathematical functions as an instance to evaluate the effectiveness of FunctionMarker, and experiments show that only 0.3% of watermarked text achieves a 90% watermark extraction accuracy in most cases, validating our method's effectiveness.
- Abstract(参考訳): 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて優れた性能を示している。
一方、彼らは広範なトレーニングデータを必要とし、データセットの著作権保護に関する懸念を提起する。
バックドアベースの透かしは、分類データセットの著作権を保護するための実行可能なアプローチである。
しかし、これらの手法は、攻撃者による透かし付きLLMに悪意ある誤分類挙動を導入し、透かし付きテキストのセマンティック情報に影響を及ぼす可能性がある。
これらの問題に対処するため,知識注入による言語データセットの著作権保護手法であるFunctionMarkerを提案する。
FunctionMarkerは、透かし付きデータセットを微調整することで、LLMが特定の知識を学習できるようにし、特定の知識関連クエリに対するLLMの応答を取得することで、埋め込みされた透かしを抽出する。
透かし能力とステルス性を考慮すると、LLMが透かしを学習して埋め込むための特定の知識としてカスタマイズ可能な関数を選択する。
さらに、FunctionMarkerは、元のセマンティック情報を保存しながらマルチビットの透かしを埋め込むことができ、それによってアダプティブアタックの難しさが増大する。
本稿では,FunctionMarkerの有効性を評価するために数学的関数を例に挙げ,本手法の有効性を検証した結果,透かしテキストの0.3%が90%の透かし抽出精度を実現していることがわかった。
関連論文リスト
- Topic-based Watermarks for LLM-Generated Text [46.71493672772134]
大規模言語モデル(LLM)のための「トピックベース透かしアルゴリズム」を提案する。
提案アルゴリズムは,入力プロンプトの抽出されたトピックや非透かしLLMの出力に基づいて,透かしLLM出力のトークンを生成する方法を決定する。
論文 参考訳(メタデータ) (2024-04-02T17:49:40Z) - Attacking LLM Watermarks by Exploiting Their Strengths [22.07546496631127]
生成モデルは、AIが生成したテキスト、コード、画像が、多くのアプリケーションで生成したコンテンツをミラーすることを可能にする。
モデル出力に情報を埋め込んでソースを検証する技術であるウォーターマーキングは、そのようなAI生成コンテンツの誤用を軽減するのに有用である。
既存の透かし方式が驚くほど攻撃を受けやすいことを示します。
論文 参考訳(メタデータ) (2024-02-25T20:24:07Z) - On the Learnability of Watermarks for Language Models [80.97358663708592]
言語モデルが透かし付きテキストを生成するために直接学習できるかどうかを問う。
本稿では,教師モデルとして振舞う学生モデルを訓練する透かし蒸留法を提案する。
モデルは、高い検出性で透かし付きテキストを生成することができる。
論文 参考訳(メタデータ) (2023-12-07T17:41:44Z) - New Evaluation Metrics Capture Quality Degradation due to LLM
Watermarking [28.53032132891346]
大規模言語モデル(LLM)のための透かしアルゴリズム評価のための2つの新しい使いやすさ手法を提案する。
種々のデータセットを用いて実験を行った結果,従来の透かし法は単純な分類器でも検出可能であることがわかった。
以上の結果から,透かしの堅牢性とテキスト品質のトレードオフを浮き彫りにし,透かしの質を評価する上で,より情報的な指標を持つことの重要性を強調した。
論文 参考訳(メタデータ) (2023-12-04T22:56:31Z) - WatME: Towards Lossless Watermarking Through Lexical Redundancy [61.55924872561569]
相互排他型透かし(WatME)という新しいアプローチを導入する。
WatMEは、言語モデルの復号過程において利用可能な語彙の使用を動的に最適化する。
本稿では,WatMEが大規模言語モデルのテキスト生成能力を大幅に維持していることを示す理論的解析と実証的証拠を示す。
論文 参考訳(メタデータ) (2023-11-16T11:58:31Z) - Performance Trade-offs of Watermarking Large Language Models [28.556397738117617]
各種タスクにおいて,透かし付き大規模言語モデル (LLM) の性能を評価する。
ウォーターマーキングがkクラス分類問題として生じるタスクのパフォーマンスに無視できない影響があることが判明した。
要約や翻訳などの長文生成タスクでは、透かしによる性能の15~20%低下が見られる。
論文 参考訳(メタデータ) (2023-11-16T11:44:58Z) - A Robust Semantics-based Watermark for Large Language Model against Paraphrasing [50.84892876636013]
大規模言語モデル(LLM)は、様々な自然言語処理において優れた能力を示している。
LLMは不適切にも違法にも使用できるという懸念がある。
本稿ではセマンティクスに基づく透かしフレームワークSemaMarkを提案する。
論文 参考訳(メタデータ) (2023-11-15T06:19:02Z) - Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。
テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - On the Reliability of Watermarks for Large Language Models [95.87476978352659]
本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。
人や機械の言い回しをしても、透かしは検出可能である。
また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
論文 参考訳(メタデータ) (2023-06-07T17:58:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。