論文の概要: REMARK-LLM: A Robust and Efficient Watermarking Framework for Generative
Large Language Models
- arxiv url: http://arxiv.org/abs/2310.12362v1
- Date: Wed, 18 Oct 2023 22:14:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 17:35:23.667050
- Title: REMARK-LLM: A Robust and Efficient Watermarking Framework for Generative
Large Language Models
- Title(参考訳): REMARK-LLM: 大規模言語モデル生成のためのロバストで効率的な透かしフレームワーク
- Authors: Ruisi Zhang, Shehzeen Samarah Hussain, Paarth Neekhara, Farinaz
Koushanfar
- Abstract要約: 大規模言語モデル(LLM)のための新しい効率的で堅牢な透かしフレームワークREMARK-LLMを提案する。
ReMARK-LLMは、透かしのある内容における意味的整合性の保存を促進するために厳格に訓練されている。
透かしの検出と除去攻撃に対してより優れたレジリエンスを示す。
- 参考スコア(独自算出の注目度): 17.74476474369235
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present REMARK-LLM, a novel efficient, and robust watermarking framework
designed for texts generated by large language models (LLMs). Synthesizing
human-like content using LLMs necessitates vast computational resources and
extensive datasets, encapsulating critical intellectual property (IP). However,
the generated content is prone to malicious exploitation, including spamming
and plagiarism. To address the challenges, REMARK-LLM proposes three new
components: (i) a learning-based message encoding module to infuse binary
signatures into LLM-generated texts; (ii) a reparameterization module to
transform the dense distributions from the message encoding to the sparse
distribution of the watermarked textual tokens; (iii) a decoding module
dedicated for signature extraction; Furthermore, we introduce an optimized beam
search algorithm to guarantee the coherence and consistency of the generated
content. REMARK-LLM is rigorously trained to encourage the preservation of
semantic integrity in watermarked content, while ensuring effective watermark
retrieval. Extensive evaluations on multiple unseen datasets highlight
REMARK-LLM proficiency and transferability in inserting 2 times more signature
bits into the same texts when compared to prior art, all while maintaining
semantic integrity. Furthermore, REMARK-LLM exhibits better resilience against
a spectrum of watermark detection and removal attacks.
- Abstract(参考訳): 本稿では,大規模な言語モデル(LLM)によって生成されたテキストを対象とした,新しい効率的で堅牢な透かしフレームワークREMARK-LLMを提案する。
llmsを用いたヒューマンライクなコンテンツの合成は、膨大な計算資源と膨大なデータセットを必要とし、重要な知的財産(ip)をカプセル化する。
しかし、生成されたコンテンツはスパムや盗作など悪用される傾向がある。
この課題に対処するため、REMARK-LLMは3つの新しいコンポーネントを提案する。
i) LLM生成テキストにバイナリ署名を注入する学習ベースのメッセージ符号化モジュール
二 密集分布を、メッセージエンコーディングから透かし付きテキストトークンの疎分布に変換するための再パラメータ化モジュール
3)署名抽出専用のデコードモジュール,さらに,生成されたコンテンツの一貫性と一貫性を保証するために最適化されたビーム探索アルゴリズムを導入する。
REMARK-LLMは、効果的な透かし検索を確保しつつ、透かし内容のセマンティックな整合性を維持するために厳格に訓練されている。
複数の未確認データセットに対する広範囲な評価は、REMARK-LLMの習熟度と転送性を強調し、意味的整合性を維持しながら、2倍の署名ビットを同じテキストに挿入する。
さらにREMARK-LLMは、透かしの検出と除去攻撃に対してより優れたレジリエンスを示す。
関連論文リスト
- Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - Adaptive Text Watermark for Large Language Models [9.569222603139332]
プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。
本稿では,この問題に対処するための適応型透かし手法を提案する。
論文 参考訳(メタデータ) (2024-01-25T03:57:12Z) - WatME: Towards Lossless Watermarking Through Lexical Redundancy [61.55924872561569]
相互排他型透かし(WatME)という新しいアプローチを導入する。
WatMEは、言語モデルの復号過程において利用可能な語彙の使用を動的に最適化する。
本稿では,WatMEが大規模言語モデルのテキスト生成能力を大幅に維持していることを示す理論的解析と実証的証拠を示す。
論文 参考訳(メタデータ) (2023-11-16T11:58:31Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - DiPmark: A Stealthy, Efficient and Resilient Watermark for Large
Language Models [71.49654786784713]
電子透かしのための分布保存型透かし(DiP)を提案する。
提案したDiPmarkは、透かし(ステルス)中の元のトークン分布を保存し、言語モデルAPIやウェイト(効率)にアクセスせずに検出可能であり、トークンの適度な変更(レジリエント)に対して堅牢である。
これは、コンテキストに基づいてユニークなtextiti.i.d.暗号を割り当てるハッシュ関数と組み合わさって、新しいreweight戦略を導入することで達成される。
論文 参考訳(メタデータ) (2023-10-11T17:57:35Z) - WASA: WAtermark-based Source Attribution for Large Language
Model-Generated Data [60.759755177369364]
大言語モデル(LLM)は、ソースに関する情報を含む埋め込み透かしを持つ合成テキストを生成する。
本稿では,我々のアルゴリズム設計により鍵特性を満たすWAtermarking for Source Attribution (WASA)フレームワークを提案する。
我々のフレームワークは、効果的な情報源の属性とデータの出所を達成します。
論文 参考訳(メタデータ) (2023-10-01T12:02:57Z) - Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。
テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - ConTextual Mask Auto-Encoder for Dense Passage Retrieval [49.49460769701308]
CoT-MAEは,高密度経路抽出のための簡易かつ効果的な生成前訓練法である。
文のセマンティクスを高密度ベクトルに圧縮する学習は、自己教師付きおよび文脈教師付きマスキングによる自動エンコーディングによって行われる。
我々は,大規模経路探索ベンチマークの実験を行い,強力なベースラインよりも大幅に改善されたことを示す。
論文 参考訳(メタデータ) (2022-08-16T11:17:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。