論文の概要: Duwak: Dual Watermarks in Large Language Models

• arxiv url: http://arxiv.org/abs/2403.13000v1
• Date: Tue, 12 Mar 2024 16:25:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 07:17:26.078120
• Title: Duwak: Dual Watermarks in Large Language Models
• Title（参考訳）: Duwak: 大きな言語モデルにおけるデュアル・ウォーターマーク
• Authors: Chaoyi Zhu, Jeroen Galjaard, Pin-Yu Chen, Lydia Y. Chen,
• Abstract要約: トークン確率分布とサンプリングスキームの両方に二重秘密パターンを埋め込むことにより、透かしの効率と品質を向上させるために、Duwakを提案する。 Llama2でDuwakを4つの最先端透かし技術と組み合わせて評価した。
• 参考スコア（独自算出の注目度）: 49.00264962860555
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As large language models (LLM) are increasingly used for text generation tasks, it is critical to audit their usages, govern their applications, and mitigate their potential harms. Existing watermark techniques are shown effective in embedding single human-imperceptible and machine-detectable patterns without significantly affecting generated text quality and semantics. However, the efficiency in detecting watermarks, i.e., the minimum number of tokens required to assert detection with significance and robustness against post-editing, is still debatable. In this paper, we propose, Duwak, to fundamentally enhance the efficiency and quality of watermarking by embedding dual secret patterns in both token probability distribution and sampling schemes. To mitigate expression degradation caused by biasing toward certain tokens, we design a contrastive search to watermark the sampling scheme, which minimizes the token repetition and enhances the diversity. We theoretically explain the interdependency of the two watermarks within Duwak. We evaluate Duwak extensively on Llama2 under various post-editing attacks, against four state-of-the-art watermarking techniques and combinations of them. Our results show that Duwak marked text achieves the highest watermarked text quality at the lowest required token count for detection, up to 70% tokens less than existing approaches, especially under post paraphrasing.
• Abstract（参考訳）: 大規模言語モデル(LLM)はテキスト生成タスクにますます使われるようになっているため、それらの使用状況を監査し、アプリケーションを管理し、潜在的な害を軽減することが重要である。 既存の透かし技術は、生成したテキストの品質や意味論に大きな影響を及ぼすことなく、人間の知覚できない単一パターンと機械検出可能なパターンを埋め込むのに効果的である。 しかし、透かしの検出の効率、すなわち、後編集に対する重要性と堅牢性によって検出を主張するために必要なトークンの最小数については、依然として議論の余地がある。 本稿では,トークン確率分布とサンプリング方式の両方に二重秘密パターンを埋め込むことにより,透かしの効率と品質を根本的に向上するDuwakを提案する。 本研究では,特定のトークンに対するバイアスによる表現劣化を軽減するために,トークンの繰り返しを最小限に抑え,多様性を高めるために,サンプリング方式をウォーターマークするコントラスト検索を設計する。 理論的にはデュワクの2つの透かしの相互依存性を説明する。 我々は,Llama2の各種編集後攻撃において,Duwakを4つの最先端透かし技術とそれらの組み合わせに対して広範囲に評価した。 以上の結果から,Duwakマークテキストは,検出に必要な最低トークン数において,特にパラフレーズ化後において,既存の手法よりも70%少ないトークン数で,最も透かしの高いテキスト品質を実現することがわかった。

関連論文リスト

• Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
  テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。 提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-17T18:52:12Z)
• Watermarking Language Models with Error Correcting Codes [41.21656847672627]
  本稿では,誤り訂正符号を用いて統計的信号を符号化する透かしフレームワークを提案する。 提案手法は,ロバスト二元符号 (RBC) 透かしと呼ばれ,元の確率分布に比較して歪みは生じない。 私たちの経験的発見は、私たちの透かしは速く、強力で、堅牢であり、最先端のものと好意的に比較していることを示唆しています。
  論文  参考訳（メタデータ） (2024-06-12T05:13:09Z)
• Token-Specific Watermarking with Enhanced Detectability and Semantic Coherence for Large Language Models [31.062753031312006]
  大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。 ウォーターマーキングは、テキストに隠れたマーカーを埋め込むことによって、この文脈において重要な意味を持つ。 ウォーターマーキングのための新しい多目的最適化(MOO)手法を提案する。 本手法は,検出性と意味的整合性を同時に達成する。
  論文  参考訳（メタデータ） (2024-02-28T05:43:22Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• T2IW: Joint Text to Image & Watermark Generation [74.20148555503127]
  画像と透かし(T2IW)への共同テキスト生成のための新しいタスクを提案する。 このT2IWスキームは、意味的特徴と透かし信号が画素内で互換性を持つように強制することにより、複合画像を生成する際に、画像品質に最小限のダメージを与える。 提案手法により,画像品質,透かしの可視性,透かしの堅牢性などの顕著な成果が得られた。
  論文  参考訳（メタデータ） (2023-09-07T16:12:06Z)
• An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
  現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。 両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
  論文  参考訳（メタデータ） (2023-07-30T13:43:27Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)
• A Watermark for Large Language Models [84.95327142027183]
  本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。 透かしはテキストの品質に無視できない影響で埋め込むことができる。 言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。