論文の概要: Robust Multi-bit Natural Language Watermarking through Invariant
Features
- arxiv url: http://arxiv.org/abs/2305.01904v2
- Date: Fri, 9 Jun 2023 07:17:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 17:07:02.663974
- Title: Robust Multi-bit Natural Language Watermarking through Invariant
Features
- Title(参考訳): 不変特徴によるロバストなマルチビット自然言語透かし
- Authors: KiYoon Yoo, Wonhyuk Ahn, Jiho Jang, Nojun Kwak
- Abstract要約: 元々の自然言語の内容は違法な海賊行為や潜在的な誤用の影響を受けやすい。
海賊行為を効果的に防ぎ、著作権を保護するためには、マルチビットの透かしフレームワークが適切な情報を埋め込む必要がある。
本研究では,画像透かしからよく知られた提案に従うことにより,ペイロードとロバスト性を両立させる方法について検討する。
- 参考スコア(独自算出の注目度): 28.4935678626116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have witnessed a proliferation of valuable original natural
language contents found in subscription-based media outlets, web novel
platforms, and outputs of large language models. However, these contents are
susceptible to illegal piracy and potential misuse without proper security
measures. This calls for a secure watermarking system to guarantee copyright
protection through leakage tracing or ownership identification. To effectively
combat piracy and protect copyrights, a multi-bit watermarking framework should
be able to embed adequate bits of information and extract the watermarks in a
robust manner despite possible corruption. In this work, we explore ways to
advance both payload and robustness by following a well-known proposition from
image watermarking and identify features in natural language that are invariant
to minor corruption. Through a systematic analysis of the possible sources of
errors, we further propose a corruption-resistant infill model. Our full method
improves upon the previous work on robustness by +16.8% point on average on
four datasets, three corruption types, and two corruption ratios. Code
available at https://github.com/bangawayoo/nlp-watermarking.
- Abstract(参考訳): 近年,サブスクリプションベースのメディアやウェブの新しいプラットフォーム,大規模言語モデルのアウトプットなどにおいて,貴重な自然言語コンテンツが急増している。
しかし、これらの内容は違法な海賊行為や、適切なセキュリティ対策なしに悪用される可能性がある。
これにより、漏洩追跡や所有権の識別を通じて著作権保護を保証するセキュアな透かしシステムが必要となる。
海賊行為を効果的に防ぎ、著作権を保護するためには、マルチビットの透かしフレームワークが適切な情報を埋め込んで、汚職の可能性にもかかわらず堅牢な方法で透かしを抽出できる必要がある。
本研究では、画像透かしからよく知られた提案に従うことにより、ペイロードとロバスト性の両方を推し進める方法を模索し、小さな汚職に不変な自然言語の特徴を特定する。
さらに, エラー発生源の系統的解析を通じて, 汚損耐性の埋没モデルを提案する。
従来のロバスト性に関する作業では,4つのデータセット,3つの腐敗タイプ,2つの腐敗率の平均値が16.8%向上した。
コードはhttps://github.com/bangawayoo/nlp-watermarking。
関連論文リスト
- RAW: A Robust and Agile Plug-and-Play Watermark Framework for AI-Generated Images with Provable Guarantees [33.61946642460661]
本稿ではRAWと呼ばれる堅牢でアジャイルな透かし検出フレームワークを紹介する。
我々は、透かしの存在を検出するために、透かしと共同で訓練された分類器を用いる。
このフレームワークは,透かし画像の誤分類に対する偽陽性率に関する証明可能な保証を提供する。
論文 参考訳(メタデータ) (2024-01-23T22:00:49Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - DiPmark: A Stealthy, Efficient and Resilient Watermark for Large
Language Models [71.49654786784713]
電子透かしのための分布保存型透かし(DiP)を提案する。
提案したDiPmarkは、透かし(ステルス)中の元のトークン分布を保存し、言語モデルAPIやウェイト(効率)にアクセスせずに検出可能であり、トークンの適度な変更(レジリエント)に対して堅牢である。
これは、コンテキストに基づいてユニークなtextiti.i.d.暗号を割り当てるハッシュ関数と組み合わさって、新しいreweight戦略を導入することで達成される。
論文 参考訳(メタデータ) (2023-10-11T17:57:35Z) - Towards Robust Model Watermark via Reducing Parametric Vulnerability [57.66709830576457]
バックドアベースのオーナシップ検証が最近人気となり,モデルオーナがモデルをウォーターマークすることが可能になった。
本研究では,これらの透かし除去モデルを発見し,それらの透かし挙動を復元するミニマックス定式化を提案する。
本手法は,パラメトリックな変化と多数のウォーターマーク除去攻撃に対するモデル透かしの堅牢性を向上させる。
論文 参考訳(メタデータ) (2023-09-09T12:46:08Z) - Advancing Beyond Identification: Multi-bit Watermark for Large Language Models [31.066140913513035]
機械生成テキストの識別を超えて,大規模言語モデルの誤用に対処する可能性を示す。
言語モデル生成中にトレーサブルなマルチビット情報を埋め込んだ位置アロケーションによるマルチビット透かしを提案する。
論文 参考訳(メタデータ) (2023-08-01T01:27:40Z) - On the Reliability of Watermarks for Large Language Models [95.87476978352659]
本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。
人や機械の言い回しをしても、透かしは検出可能である。
また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
論文 参考訳(メタデータ) (2023-06-07T17:58:48Z) - Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。
リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。
我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
論文 参考訳(メタデータ) (2023-05-14T07:37:33Z) - Protecting Language Generation Models via Invisible Watermarking [41.532711376512744]
GINSEW(GINSEW)は,テキスト生成モデルが蒸留によって盗難されるのを防ぐ新しい方法である。
GINSEWは,保護されたAPIの生成品質に最小限の影響を伴って,IP侵害の事例を効果的に識別できることを示す。
論文 参考訳(メタデータ) (2023-02-06T23:42:03Z) - A Watermark for Large Language Models [84.95327142027183]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳(メタデータ) (2023-01-24T18:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。