論文の概要: Robust Multi-bit Natural Language Watermarking through Invariant Features

• arxiv url: http://arxiv.org/abs/2305.01904v2
• Date: Fri, 9 Jun 2023 07:17:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 17:07:02.663974
• Title: Robust Multi-bit Natural Language Watermarking through Invariant Features
• Title（参考訳）: 不変特徴によるロバストなマルチビット自然言語透かし
• Authors: KiYoon Yoo, Wonhyuk Ahn, Jiho Jang, Nojun Kwak
• Abstract要約: 元々の自然言語の内容は違法な海賊行為や潜在的な誤用の影響を受けやすい。 海賊行為を効果的に防ぎ、著作権を保護するためには、マルチビットの透かしフレームワークが適切な情報を埋め込む必要がある。 本研究では,画像透かしからよく知られた提案に従うことにより,ペイロードとロバスト性を両立させる方法について検討する。
• 参考スコア（独自算出の注目度）: 28.4935678626116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed a proliferation of valuable original natural language contents found in subscription-based media outlets, web novel platforms, and outputs of large language models. However, these contents are susceptible to illegal piracy and potential misuse without proper security measures. This calls for a secure watermarking system to guarantee copyright protection through leakage tracing or ownership identification. To effectively combat piracy and protect copyrights, a multi-bit watermarking framework should be able to embed adequate bits of information and extract the watermarks in a robust manner despite possible corruption. In this work, we explore ways to advance both payload and robustness by following a well-known proposition from image watermarking and identify features in natural language that are invariant to minor corruption. Through a systematic analysis of the possible sources of errors, we further propose a corruption-resistant infill model. Our full method improves upon the previous work on robustness by +16.8% point on average on four datasets, three corruption types, and two corruption ratios. Code available at https://github.com/bangawayoo/nlp-watermarking.
• Abstract（参考訳）: 近年,サブスクリプションベースのメディアやウェブの新しいプラットフォーム,大規模言語モデルのアウトプットなどにおいて,貴重な自然言語コンテンツが急増している。 しかし、これらの内容は違法な海賊行為や、適切なセキュリティ対策なしに悪用される可能性がある。 これにより、漏洩追跡や所有権の識別を通じて著作権保護を保証するセキュアな透かしシステムが必要となる。 海賊行為を効果的に防ぎ、著作権を保護するためには、マルチビットの透かしフレームワークが適切な情報を埋め込んで、汚職の可能性にもかかわらず堅牢な方法で透かしを抽出できる必要がある。 本研究では、画像透かしからよく知られた提案に従うことにより、ペイロードとロバスト性の両方を推し進める方法を模索し、小さな汚職に不変な自然言語の特徴を特定する。 さらに, エラー発生源の系統的解析を通じて, 汚損耐性の埋没モデルを提案する。 従来のロバスト性に関する作業では,4つのデータセット,3つの腐敗タイプ,2つの腐敗率の平均値が16.8%向上した。 コードはhttps://github.com/bangawayoo/nlp-watermarking。

関連論文リスト

• Certifiably Robust Image Watermark [57.546016845801134]
  ジェネレーティブAIは、偽情報やプロパガンダキャンペーンの促進など、多くの社会的懸念を提起する。 ウォーターマークAI生成コンテンツは、これらの懸念に対処するための重要な技術である。 本報告では, 除去・偽造攻撃に対するロバスト性保証を保証した最初の画像透かしを提案する。
  論文  参考訳（メタデータ） (2024-07-04T17:56:04Z)
• Watermarking Language Models with Error Correcting Codes [41.21656847672627]
  本稿では,誤り訂正符号を用いて統計的信号を符号化する透かしフレームワークを提案する。 提案手法は,ロバスト二元符号 (RBC) 透かしと呼ばれ,元の確率分布に比較して歪みは生じない。 私たちの経験的発見は、私たちの透かしは速く、強力で、堅牢であり、最先端のものと好意的に比較していることを示唆しています。
  論文  参考訳（メタデータ） (2024-06-12T05:13:09Z)
• Evaluating Durability: Benchmark Insights into Multimodal Watermarking [36.12198778931536]
  画像およびテキスト生成モデルにより生成された透かし付きコンテンツの、一般的な実世界の画像破損やテキスト摂動に対する堅牢性について検討する。 今後,より堅牢な透かし技術の開発が進む可能性がある。
  論文  参考訳（メタデータ） (2024-06-06T03:57:08Z)
• Edit Distance Robust Watermarks for Language Models [29.69428894587431]
  AI生成テキストの検出の問題に触発されて、証明可能な保証付き言語モデルの出力を透かしする問題を考える。 a)非検出性、(a)Christ, Gunn & Zamir (2024) が導入した暗号概念、(b) 敵の挿入、置換、削除を一定の割合で導入するチャネルに対する堅牢性。
  論文  参考訳（メタデータ） (2024-06-04T04:03:17Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• A Resilient and Accessible Distribution-Preserving Watermark for Large Language Models [65.40460716619772]
  本研究は,textbfDistribution-textbf Preserving (DiP)ウォーターマークの重要性に焦点をあてる。 現在の戦略とは対照的に,提案したDiPmarkは透かし中に元のトークン分布を同時に保存する。 言語モデルAPIにアクセスせずに検出可能で(アクセス可能)、トークンの適度な変更に対して確実に堅牢である。
  論文  参考訳（メタデータ） (2023-10-11T17:57:35Z)
• Towards Robust Model Watermark via Reducing Parametric Vulnerability [57.66709830576457]
  バックドアベースのオーナシップ検証が最近人気となり,モデルオーナがモデルをウォーターマークすることが可能になった。 本研究では,これらの透かし除去モデルを発見し,それらの透かし挙動を復元するミニマックス定式化を提案する。 本手法は,パラメトリックな変化と多数のウォーターマーク除去攻撃に対するモデル透かしの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-09-09T12:46:08Z)
• Advancing Beyond Identification: Multi-bit Watermark for Large Language Models [31.066140913513035]
  機械生成テキストの識別を超えて,大規模言語モデルの誤用に対処する可能性を示す。 言語モデル生成中にトレーサブルなマルチビット情報を埋め込んだ位置アロケーションによるマルチビット透かしを提案する。
  論文  参考訳（メタデータ） (2023-08-01T01:27:40Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)
• Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
  テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。 リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。 我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-14T07:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。