論文の概要: DERMARK: A Dynamic, Efficient and Robust Multi-bit Watermark for Large Language Models

• arxiv url: http://arxiv.org/abs/2502.05213v2
• Date: Sun, 03 Aug 2025 03:58:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 14:07:56.181405
• Title: DERMARK: A Dynamic, Efficient and Robust Multi-bit Watermark for Large Language Models
• Title（参考訳）: DERMARK: 大規模言語モデルのための動的、効率的、ロバストなマルチビット透かし
• Authors: Qihao Lin, Chen Tang, Lan zhang, Junyang zhang, Xiangyang Li,
• Abstract要約: テキストを各ウォーターマークビットに対して可変長セグメントに分割する動的で効率的で堅牢なマルチビット透かし法を提案する。 本手法は,埋め込みビット当たりのトークン数を25%削減し,透かし埋め込み時間を50%削減し,テキスト修正や透かし消去攻撃に対して高い堅牢性を維持する。
• 参考スコア（独自算出の注目度）: 18.023143082876015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) grow more powerful, concerns over copyright infringement of LLM-generated texts have intensified. LLM watermarking has been proposed to trace unauthorized redistribution or resale of generated content by embedding identifiers within the text. Existing approaches primarily rely on one-bit watermarking, which only verifies whether a text was generated by a specific LLM. In contrast, multi-bit watermarking encodes richer information, enabling the identification of the specific LLM and user involved in generated or distributed content. However, current multi-bit methods directly embed the watermark into the text without considering its watermark capacity, which can result in failures, especially in low-entropy texts. In this paper, we analyze that the watermark embedding follows a normal distribution. We then derive a formal inequality to optimally segment the text for watermark embedding. Building upon this, we propose DERMARK, a dynamic, efficient, and robust multi-bit watermarking method that divides the text into variable-length segments for each watermark bit during the inference. Moreover, DERMARK incurs negligible overhead since no additional intermediate matrices are generated and achieves robustness against text editing by minimizing watermark extraction loss. Experiments demonstrate that, compared to SOTA, on average, our method reduces the number of tokens required per embedded bit by 25\%, reduces watermark embedding time by 50\%, and maintains high robustness against text modifications and watermark erasure attacks.
• Abstract（参考訳）: 大規模言語モデル(LLM)がより強力になるにつれて、LLM生成テキストの著作権侵害に対する懸念が高まっている。 LLM透かしは、テキストに識別子を埋め込むことで、不正な再配布や生成されたコンテンツの再販を追跡できる。 既存のアプローチは主に1ビットの透かしに依存しており、特定のLCMによってテキストが生成されるかどうかのみを検証している。 対照的に、マルチビット透かしはよりリッチな情報を符号化し、生成されたコンテンツや分散コンテンツに関わる特定のLCMとユーザを識別する。 しかし、現在のマルチビット方式では、透かしの容量を考慮せずに直接テキストに透かしを埋め込むことができ、特に低エントロピーテキストでは失敗する可能性がある。 本稿では,透かしの埋め込みが正規分布に従うことを解析する。 次に、ウォーターマーク埋め込みのためのテキストを最適に分割する形式的不等式を導出する。 そこで本研究では,動的,効率的,堅牢なマルチビット透かし方式であるDERMARKを提案する。 さらに、DERMARKは、追加の中間行列が生成されないため、無視可能なオーバーヘッドが発生し、透かし抽出損失を最小限に抑えて、テキスト編集に対する堅牢性を実現する。 実験により,SOTAと比較して,埋め込みビット当たりのトークン数の平均が25 %減少し,透かし埋め込み時間を50 %減少させ,テキスト修正や透かし消去攻撃に対して高い堅牢性を維持することを示した。

関連論文リスト

• StealthInk: A Multi-bit and Stealthy Watermark for Large Language Models [4.76514657698929]
  StealthInkは、大規模言語モデル(LLM)のためのステルスなマルチビット透かし方式である 元のテキスト配布を保存し、証明データの埋め込みを可能にする。 固定等誤り率で透かし検出に必要なトークン数に対する低い境界を導出する。
  論文  参考訳（メタデータ） (2025-06-05T18:37:38Z)
• De-mark: Watermark Removal in Large Language Models [59.00698153097887]
  我々は、n-gramベースの透かしを効果的に除去するために設計された高度なフレームワークであるDe-markを紹介する。 提案手法は,透かしの強度を評価するために,ランダム選択探索と呼ばれる新しいクエリ手法を利用する。
  論文  参考訳（メタデータ） (2024-10-17T17:42:10Z)
• Less is More: Sparse Watermarking in LLMs with Enhanced Text Quality [27.592486717044455]
  テキストに分散した生成されたトークンの小さなサブセットに透かしを適用することで、このトレードオフを緩和することを目的とした新しいタイプの透かしであるスパース透かしを提案する。 提案手法は,従来の透かし手法よりも高い品質のテキストを生成しつつ,高い検出性を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-17T18:52:12Z)
• Large Language Model Watermark Stealing With Mixed Integer Programming [51.336009662771396]
  大きな言語モデル(LLM)の透かしは、著作権に対処し、AI生成したテキストを監視し、その誤用を防ぐことを約束している。 近年の研究では、多数のキーを用いた透かし手法は、攻撃の除去に影響を受けやすいことが示されている。 我々は,最先端のLLM透かしスキームに対する新たなグリーンリスト盗難攻撃を提案する。
  論文  参考訳（メタデータ） (2024-05-30T04:11:17Z)
• Topic-Based Watermarks for Large Language Models [46.71493672772134]
  本稿では,Large Language Model (LLM) 出力のための軽量なトピック誘導型透かし方式を提案する。 本手法は,Google の SynthID-Text など,業界をリードするシステムに匹敵する難易度を実現する。
  論文  参考訳（メタデータ） (2024-04-02T17:49:40Z)
• Multi-Bit Distortion-Free Watermarking for Large Language Models [4.7381853007029475]
  透かしの一部としてメタ情報の複数ビットを埋め込むことにより,既存のゼロビット歪みのない透かし法を拡張した。 また,少ないビット誤り率で透かしから埋め込み情報を抽出する計算効率の良い復号器を開発した。
  論文  参考訳（メタデータ） (2024-02-26T14:01:34Z)
• Provably Robust Multi-bit Watermarking for AI-generated Text [37.21416140194606]
  大規模言語モデル(LLM)は、人間の言語に似たテキストを生成する顕著な能力を示した。 犯罪者が偽ニュースやフィッシングメールなどの偽装コンテンツを作成するために悪用することもある。 ウォーターマーキングはこれらの懸念に対処するための重要なテクニックであり、メッセージをテキストに埋め込む。
  論文  参考訳（メタデータ） (2024-01-30T08:46:48Z)
• Adaptive Text Watermark for Large Language Models [8.100123266517299]
  プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。 本稿では,この問題に対処するための適応型透かし手法を提案する。
  論文  参考訳（メタデータ） (2024-01-25T03:57:12Z)
• WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
  本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。 透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
  論文  参考訳（メタデータ） (2023-11-16T11:58:31Z)
• Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
  トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。 この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
  論文  参考訳（メタデータ） (2023-11-16T08:36:00Z)
• A Robust Semantics-based Watermark for Large Language Model against Paraphrasing [50.84892876636013]
  大規模言語モデル(LLM)は、様々な自然言語処理において優れた能力を示している。 LLMは不適切にも違法にも使用できるという懸念がある。 本稿ではセマンティクスに基づく透かしフレームワークSemaMarkを提案する。
  論文  参考訳（メタデータ） (2023-11-15T06:19:02Z)
• Necessary and Sufficient Watermark for Large Language Models [31.933103173481964]
  本稿では,テキストの品質を劣化させることなく,生成されたテキストに透かしを挿入するための,必要かつ十分な透かし(NS-Watermark)を提案する。 NS-Watermarkは既存の透かしよりも自然なテキストを生成することができることを示す。 特に機械翻訳タスクでは、NS-Watermarkは既存の透かし法を最大30BLEUスコアで上回ることができる。
  論文  参考訳（メタデータ） (2023-10-02T00:48:51Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Provable Robust Watermarking for AI-Generated Text [41.5510809722375]
  We propose a robust and high-quality watermark method, Unigram-Watermark。 提案手法は,テキストの編集やパラフレージングに頑健で,生成品質,透かし検出の精度が保証されていることを実証する。
  論文  参考訳（メタデータ） (2023-06-30T07:24:32Z)
• On the Reliability of Watermarks for Large Language Models [95.87476978352659]
  本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。 人や機械の言い回しをしても、透かしは検出可能である。 また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
  論文  参考訳（メタデータ） (2023-06-07T17:58:48Z)
• Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
  テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。 リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。 我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-14T07:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。