論文の概要: DERMARK: A Dynamic, Efficient and Robust Multi-bit Watermark for Large Language Models

• arxiv url: http://arxiv.org/abs/2502.05213v1
• Date: Tue, 04 Feb 2025 11:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:33:19.285700
• Title: DERMARK: A Dynamic, Efficient and Robust Multi-bit Watermark for Large Language Models
• Title（参考訳）: DERMARK: 大規模言語モデルのための動的、効率的、ロバストなマルチビット透かし
• Authors: Qihao Lin, Chen Tang, Lan zhang, Junyang zhang, Xiangyang Li,
• Abstract要約: 動的,効率的,堅牢なマルチビット透かし方式であるDERMARKを提案する。 DERMARKはテキストを各ビットの埋め込みごとに異なる長さのセグメントに分割し、テキストの容量に適応的に適合する。 これは、透かし抽出損失を最小限に抑えて、テキスト編集に対して無視できるオーバーヘッドと堅牢な性能で実現される。
• 参考スコア（独自算出の注目度）: 18.023143082876015
• License:
• Abstract: Well-trained large language models (LLMs) present significant risks, including potential malicious use and copyright infringement. Current studies aim to trace the distribution of LLM-generated texts by implicitly embedding watermarks. Among these, the single-bit watermarking method can only determine whether a given text was generated by an LLM. In contrast, the multi-bit watermarking method embeds richer information into the generated text, which can identify which LLM generated and distributed a given text to which user. However, existing efforts embed the multi-bit watermark directly into the generated text without accounting for its watermarking capacity. This approach can result in embedding failures when the text's watermarking capacity is insufficient. In this paper, we derive the watermark embedding distribution based on the logits of LLMs and propose a formal inequality to segment the text optimally for watermark embedding. Building on this foundation, we propose DERMARK, a dynamic, efficient, and robust multi-bit watermarking method. DERMARK divides the text into segments of varying lengths for each bit embedding, adaptively matching the text's capacity. It achieves this with negligible overhead and robust performance against text editing by minimizing watermark extraction loss. Comprehensive experiments demonstrate that, compared to the SOTA method, our method reduces the number of tokens required for embedding each bit by 20\%, reduces watermark embedding time by 50\%, and is robust to text editing and watermark erasure attacks.
• Abstract（参考訳）: 十分に訓練された大規模言語モデル(LLM)は、潜在的に悪意のある使用や著作権侵害を含む重大なリスクをもたらす。 最近の研究は、暗黙的に透かしを埋め込むことで、LLM生成テキストの分布を辿ることを目的としている。 これらのうち、単一ビットの透かし法は、所与のテキストがLLMによって生成されたかどうかを判断するのみである。 対照的に、マルチビット透かし方式では、よりリッチな情報を生成されたテキストに埋め込んで、どのLLMが生成されたかを特定し、そのテキストをどのユーザに配布するかを特定できる。 しかし、既存の取り組みでは、マルチビットの透かしを、その透かし能力を考慮せずに、生成したテキストに直接埋め込んでいる。 このアプローチは、テキストの透かし能力が不十分な場合に、エラーを埋め込む可能性がある。 本稿では,LLMのロジットに基づいて透かし埋め込み分布を導出し,透かし埋め込みに最適なテキストを分割する形式的不等式を提案する。 この基礎の上に構築されたDRMARKは,動的,効率的,堅牢なマルチビット透かし方式である。 DERMARKはテキストを各ビットの埋め込みごとに異なる長さのセグメントに分割し、テキストの容量に適応的に適合する。 これは、透かし抽出損失を最小限に抑えて、テキスト編集に対して無視できるオーバーヘッドと堅牢な性能で実現される。 総合的な実験により,本手法はSOTA法と比較して,各ビットの埋め込みに必要なトークン数を20倍減らし,透かし埋め込み時間を50倍減らし,テキスト編集や透かし消去攻撃に対して堅牢であることが示された。

関連論文リスト

• De-mark: Watermark Removal in Large Language Models [59.00698153097887]
  我々は、n-gramベースの透かしを効果的に除去するために設計された高度なフレームワークであるDe-markを紹介する。 提案手法は,透かしの強度を評価するために,ランダム選択探索と呼ばれる新しいクエリ手法を利用する。
  論文  参考訳（メタデータ） (2024-10-17T17:42:10Z)
• Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
  テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。 提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-17T18:52:12Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
  本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。 透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
  論文  参考訳（メタデータ） (2023-11-16T11:58:31Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• Necessary and Sufficient Watermark for Large Language Models [31.933103173481964]
  本稿では,テキストの品質を劣化させることなく,生成されたテキストに透かしを挿入するための,必要かつ十分な透かし(NS-Watermark)を提案する。 NS-Watermarkは既存の透かしよりも自然なテキストを生成することができることを示す。 特に機械翻訳タスクでは、NS-Watermarkは既存の透かし法を最大30BLEUスコアで上回ることができる。
  論文  参考訳（メタデータ） (2023-10-02T00:48:51Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Provable Robust Watermarking for AI-Generated Text [41.5510809722375]
  We propose a robust and high-quality watermark method, Unigram-Watermark。 提案手法は,テキストの編集やパラフレージングに頑健で,生成品質,透かし検出の精度が保証されていることを実証する。
  論文  参考訳（メタデータ） (2023-06-30T07:24:32Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。