論文の概要: DiPmark: A Stealthy, Efficient and Resilient Watermark for Large
Language Models
- arxiv url: http://arxiv.org/abs/2310.07710v1
- Date: Wed, 11 Oct 2023 17:57:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 21:17:37.788223
- Title: DiPmark: A Stealthy, Efficient and Resilient Watermark for Large
Language Models
- Title(参考訳): DiPmark: 大規模言語モデルのためのステルスで効率的かつ回復力のある透かし
- Authors: Yihan Wu, Zhengmian Hu, Hongyang Zhang, Heng Huang
- Abstract要約: 電子透かしのための分布保存型透かし(DiP)を提案する。
提案したDiPmarkは、透かし(ステルス)中の元のトークン分布を保存し、言語モデルAPIやウェイト(効率)にアクセスせずに検出可能であり、トークンの適度な変更(レジリエント)に対して堅牢である。
これは、コンテキストに基づいてユニークなtextiti.i.d.暗号を割り当てるハッシュ関数と組み合わさって、新しいreweight戦略を導入することで達成される。
- 参考スコア(独自算出の注目度): 71.49654786784713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Watermarking techniques offer a promising way to secure data via embedding
covert information into the data. A paramount challenge in the domain lies in
preserving the distribution of original data during watermarking. Our research
extends and refines existing watermarking framework, placing emphasis on the
importance of a distribution-preserving (DiP) watermark. Contrary to the
current strategies, our proposed DiPmark preserves the original token
distribution during watermarking (stealthy), is detectable without access to
the language model API or weights (efficient), and is robust to moderate
changes of tokens (resilient). This is achieved by incorporating a novel
reweight strategy, combined with a hash function that assigns unique
\textit{i.i.d.} ciphers based on the context. The empirical benchmarks of our
approach underscore its stealthiness, efficiency, and resilience, making it a
robust solution for watermarking tasks that demand impeccable quality
preservation.
- Abstract(参考訳): ウォーターマーキング技術は、データに隠蔽情報を埋め込むことで、データをセキュアにする方法を提供する。
ドメインにおける最大の課題は、透かし中に元のデータの分布を保存することである。
本研究は,dip(distribution-preserving)ウォーターマークの重要性を強調し,既存のウォーターマークフレームワークを拡張し,洗練する。
現在の戦略とは対照的に、提案したDiPmarkは、透かし(ステルス)中のオリジナルのトークン分布を保存し、言語モデルAPIやウェイト(効率)にアクセスせずに検出可能であり、トークンの適度な変更(レジリエント)に対して堅牢である。
これは、新しい再重み付け戦略と、コンテキストに基づいてユニークな \textit{i.i.d.} 暗号を割り当てるハッシュ関数を組み合わせることで達成される。
このアプローチの実証ベンチマークは、そのステルス性、効率性、レジリエンスを核としており、品質の維持を要求される透かしタスクに対する堅牢なソリューションとなっている。
関連論文リスト
- Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - Adaptive Text Watermark for Large Language Models [9.569222603139332]
プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。
本稿では,この問題に対処するための適応型透かし手法を提案する。
論文 参考訳(メタデータ) (2024-01-25T03:57:12Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - WMFormer++: Nested Transformer for Visible Watermark Removal via Implict
Joint Learning [68.00975867932331]
既存の透かし除去法は主にタスク固有のデコーダブランチを持つUNetに依存している。
両分野の情報を包括的に統合するために,暗黙的な共同学習パラダイムを導入する。
その結果、既存の最先端手法をはるかに上回る、我々のアプローチの顕著な優位性を示した。
論文 参考訳(メタデータ) (2023-08-20T07:56:34Z) - ReMark: Receptive Field based Spatial WaterMark Embedding Optimization
using Deep Network [23.357707056321534]
難解な透かしを埋め込むための新しいディープラーニングアーキテクチャについて検討する。
提案手法は, 衝突歪みを含む透かしの一般的な歪みに対して頑健である。
論文 参考訳(メタデータ) (2023-05-11T13:21:29Z) - Did You Train on My Dataset? Towards Public Dataset Protection with
Clean-Label Backdoor Watermarking [54.40184736491652]
本稿では,公開データの保護のための一般的な枠組みとして機能するバックドアベースの透かし手法を提案する。
データセットに少数の透かしサンプルを挿入することにより、我々のアプローチは、ディフェンダーが設定した秘密関数を暗黙的に学習することを可能にする。
この隠れた機能は、データセットを違法に使用するサードパーティモデルを追跡するための透かしとして使用できる。
論文 参考訳(メタデータ) (2023-03-20T21:54:30Z) - Watermarking Images in Self-Supervised Latent Spaces [75.99287942537138]
我々は,自己教師型アプローチに照らして,事前学習した深層ネットワークに基づく透かし手法を再検討する。
我々は、マーク時間におけるデータの増大を利用して、マークとバイナリのメッセージをその潜在空間に埋め込む方法を提案する。
論文 参考訳(メタデータ) (2021-12-17T15:52:46Z) - Exploring Structure Consistency for Deep Model Watermarking [122.38456787761497]
Deep Neural Network(DNN)の知的財産権(IP)は、代理モデルアタックによって簡単に盗まれる。
本稿では,新しい構造整合モデルウォーターマーキングアルゴリズムを設計した新しい透かし手法,すなわち構造整合性'を提案する。
論文 参考訳(メタデータ) (2021-08-05T04:27:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。