論文の概要: Can LLM Watermarks Robustly Prevent Unauthorized Knowledge Distillation?

• arxiv url: http://arxiv.org/abs/2502.11598v1
• Date: Mon, 17 Feb 2025 09:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:27.092122
• Title: Can LLM Watermarks Robustly Prevent Unauthorized Knowledge Distillation?
• Title（参考訳）: LLMウォーターマークは、無認可の知識蒸留を不当に防ぐことができるか?
• Authors: Leyi Pan, Aiwei Liu, Shiyu Huang, Yijian Lu, Xuming Hu, Lijie Wen, Irwin King, Philip S. Yu,
• Abstract要約: 本稿では,学生モデルが知識蒸留により,透かしの継承を回避しつつ,教師モデルの能力を獲得することができるかどうかを考察する。 本稿では,未ターゲットおよび目標とするトレーニングデータパラフレージング(UP,TP)による蒸留前除去と,推論時透かし中和(WN)による蒸留後除去の2つのカテゴリを提案する。
• 参考スコア（独自算出の注目度）: 75.99961894619986
• License:
• Abstract: The radioactive nature of Large Language Model (LLM) watermarking enables the detection of watermarks inherited by student models when trained on the outputs of watermarked teacher models, making it a promising tool for preventing unauthorized knowledge distillation. However, the robustness of watermark radioactivity against adversarial actors remains largely unexplored. In this paper, we investigate whether student models can acquire the capabilities of teacher models through knowledge distillation while avoiding watermark inheritance. We propose two categories of watermark removal approaches: pre-distillation removal through untargeted and targeted training data paraphrasing (UP and TP), and post-distillation removal through inference-time watermark neutralization (WN). Extensive experiments across multiple model pairs, watermarking schemes and hyper-parameter settings demonstrate that both TP and WN thoroughly eliminate inherited watermarks, with WN achieving this while maintaining knowledge transfer efficiency and low computational overhead. Given the ongoing deployment of watermarking techniques in production LLMs, these findings emphasize the urgent need for more robust defense strategies. Our code is available at https://github.com/THU-BPM/Watermark-Radioactivity-Attack.
• Abstract（参考訳）: 大規模言語モデル(LLM)透かしの放射能特性は、透かしを施した教師モデルの出力に基づいて訓練された場合、学生モデルによって継承された透かしの検出を可能にし、無許可の知識蒸留を防止するための有望なツールである。 しかし、敵対的俳優に対する透かし放射能の堅牢性はほとんど未解明のままである。 本稿では,学生モデルが知識蒸留を通じて,透かしの継承を回避しつつ,教師モデルの能力を獲得することができるかどうかを検討する。 本研究では,未ターゲットおよび目標とするトレーニングデータパラフレーズ(UP,TP)による蒸留前除去と,推論時透かし中和(WN)による蒸留後除去の2つのカテゴリを提案する。 複数のモデルペア、透かしスキーム、ハイパーパラメータ設定にわたる大規模な実験により、TPとWNの両方が継承された透かしを徹底的に排除し、WNは知識伝達効率と計算オーバーヘッドを低く保ちながらこれを達成した。 生産用LLMへの透かし技術導入が進行中であることから,これらの知見はより堅牢な防衛戦略の必要性を強調している。 私たちのコードはhttps://github.com/THU-BPM/Watermark-Radioactivity-Attack.comで公開しています。

関連論文リスト

• ROBIN: Robust and Invisible Watermarks for Diffusion Models with Adversarial Optimization [15.570148419846175]
  既存の透かし手法は、堅牢性と隠蔽のバランスをとるという課題に直面している。 本稿では, 透かしを積極的に隠蔽し, より強力な透かしの埋め込みを可能にするための透かし隠蔽法を提案する。 様々な拡散モデルの実験では、画像改ざんであっても透かしが検証可能であることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T12:14:23Z)
• Turning Your Strength into Watermark: Watermarking Large Language Model via Knowledge Injection [66.26348985345776]
  本稿では,知識注入に基づく大規模言語モデル(LLM)のための新しい透かし手法を提案する。 透かし埋め込みの段階では、まず選択した知識に透かしを埋め込んで、透かし付き知識を得る。 透かし抽出段階では、疑わしいLLMを問うために、透かし付き知識に関する質問を設計する。 実験により, 透かし抽出の成功率は100%近くであり, 提案手法の有効性, 忠実性, ステルス性, 堅牢性を示した。
  論文  参考訳（メタデータ） (2023-11-16T03:22:53Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• Towards Robust Model Watermark via Reducing Parametric Vulnerability [57.66709830576457]
  バックドアベースのオーナシップ検証が最近人気となり,モデルオーナがモデルをウォーターマークすることが可能になった。 本研究では,これらの透かし除去モデルを発見し,それらの透かし挙動を復元するミニマックス定式化を提案する。 本手法は,パラメトリックな変化と多数のウォーターマーク除去攻撃に対するモデル透かしの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-09-09T12:46:08Z)
• Certified Neural Network Watermarks with Randomized Smoothing [64.86178395240469]
  本稿では,ディープラーニングモデルのための認証型透かし手法を提案する。 我々の透かしは、モデルパラメータが特定のl2しきい値以上変更されない限り、取り外し不可能であることが保証されている。 私たちの透かしは、従来の透かし法に比べて経験的に頑丈です。
  論文  参考訳（メタデータ） (2022-07-16T16:06:59Z)
• Piracy-Resistant DNN Watermarking by Block-Wise Image Transformation with Secret Key [15.483078145498085]
  提案手法は学習可能な変換画像を用いてモデルに透かしパターンを埋め込む。 海賊に耐性があるため、元のウォーターマークは海賊版ウォーターマークでは上書きできない。 その結果,高い透かし検出精度を維持しつつ,微調整や刈り込み攻撃に対して弾力性を示した。
  論文  参考訳（メタデータ） (2021-04-09T08:21:53Z)
• Fine-tuning Is Not Enough: A Simple yet Effective Watermark Removal Attack for DNN Models [72.9364216776529]
  我々は異なる視点から新しい透かし除去攻撃を提案する。 我々は、知覚不可能なパターン埋め込みと空間レベルの変換を組み合わせることで、単純だが強力な変換アルゴリズムを設計する。 我々の攻撃は、非常に高い成功率で最先端の透かしソリューションを回避できる。
  論文  参考訳（メタデータ） (2020-09-18T09:14:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。