論文の概要: Protecting Copyright of Medical Pre-trained Language Models: Training-Free Backdoor Model Watermarking

• arxiv url: http://arxiv.org/abs/2409.10570v2
• Date: Tue, 15 Apr 2025 08:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-25 12:46:26.305306
• Title: Protecting Copyright of Medical Pre-trained Language Models: Training-Free Backdoor Model Watermarking
• Title（参考訳）: 医学訓練済み言語モデルの著作権保護:訓練不要のバックドアモデル透かし
• Authors: Cong Kong, Rui Xu, Weixi Chen, Jiawei Chen, Zhaoxia Yin,
• Abstract要約: 医療用事前学習言語モデル(Med-PLMs)のためのトレーニングフリーバックドアモデル透かしを提案する。 提案手法は低周波単語をトリガーとして使用し,モデルの単語埋め込み層への埋め込みを特定の医療用語に置き換えることで透かしを埋め込む。 医用下流業務における透かし手法の優れた効果を示す実験を行った。
• 参考スコア（独自算出の注目度）: 10.458357346876586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement of intelligent healthcare, medical pre-trained language models (Med-PLMs) have emerged and demonstrated significant effectiveness in downstream medical tasks. While these models are valuable assets, they are vulnerable to misuse and theft, requiring copyright protection. However, existing watermarking methods for pre-trained language models (PLMs) cannot be directly applied to Med-PLMs due to domain-task mismatch and inefficient watermark embedding. To fill this gap, we propose the first training-free backdoor model watermarking for Med-PLMs. Our method employs low-frequency words as triggers, embedding the watermark by replacing their embeddings in the model's word embedding layer with those of specific medical terms. The watermarked Med-PLMs produce the same output for triggers as for the corresponding specified medical terms. We leverage this unique mapping to design tailored watermark extraction schemes for different downstream tasks, thereby addressing the challenge of domain-task mismatch in previous methods. Experiments demonstrate superior effectiveness of our watermarking method across medical downstream tasks. Moreover, the method exhibits robustness against model extraction, pruning, fusion-based backdoor removal attacks, while maintaining high efficiency with 10-second watermark embedding.
• Abstract（参考訳）: インテリジェントヘルスケアの進歩に伴い、医療事前訓練言語モデル(Med-PLMs)が出現し、下流医療タスクにおいて顕著な効果が示された。 これらのモデルは価値ある資産であるが、悪用や盗難に対して脆弱であり、著作権保護を必要とする。 しかし,プレトレーニング言語モデル(PLM)の既存の透かし手法は,ドメイン・タスクミスマッチや非効率な透かし埋め込みにより直接Med-PLMに適用することはできない。 このギャップを埋めるために,Med-PLMのためのトレーニング不要なバックドアモデル透かしを提案する。 提案手法は低周波単語をトリガーとして使用し,モデルの単語埋め込み層への埋め込みを特定の医療用語に置き換えることで透かしを埋め込む。 ウォーターマークされたメド-PLMは、対応する特定の医学用語と同じトリガーの出力を生成する。 このユニークなマッピングを利用して、異なる下流タスクに適した透かし抽出方式を設計し、従来手法におけるドメイン・タスクミスマッチの課題に対処する。 医用下流業務における透かし手法の優れた効果を示す実験を行った。 さらに, モデル抽出, プルーニング, 核融合によるバックドア除去攻撃に対して, 10秒の透かし埋め込みで高い効率を保ちながら頑健性を示す。

関連論文リスト

• SEAL: Semantic Aware Image Watermarking [26.606008778795193]
  本稿では,生成した画像のセマンティック情報を透かしに直接埋め込む新しい透かし手法を提案する。 キーパターンは、局所性に敏感なハッシュを用いて画像のセマンティック埋め込みから推測することができる。 以上の結果から,画像生成モデルによるリスクを軽減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-03-15T15:29:05Z)
• Can LLM Watermarks Robustly Prevent Unauthorized Knowledge Distillation? [75.99961894619986]
  本稿では,学生モデルが知識蒸留により,透かしの継承を回避しつつ,教師モデルの能力を獲得することができるかどうかを考察する。 本稿では,未ターゲットおよび目標とするトレーニングデータパラフレージング(UP,TP)による蒸留前除去と,推論時透かし中和(WN)による蒸留後除去の2つのカテゴリを提案する。
  論文  参考訳（メタデータ） (2025-02-17T09:34:19Z)
• SleeperMark: Towards Robust Watermark against Fine-Tuning Text-to-image Diffusion Models [77.80595722480074]
  SleeperMarkは、回復力のある透かしをT2I拡散モデルに埋め込むように設計されたフレームワークである。 学習したセマンティックな概念から透かし情報を切り離すようモデルに誘導する。 各種拡散モデルにおけるSleeperMarkの有効性について実験を行った。
  論文  参考訳（メタデータ） (2024-12-06T08:44:18Z)
• Revisiting the Robustness of Watermarking to Paraphrasing Attacks [10.68370011459729]
  多くの最近の透かし技術は、後に検出できる出力に信号を埋め込むためにLMの出力確率を変更する。 ブラックボックス型透かしモデルから限られた世代にしかアクセスできないため,パラフレーズ攻撃による透かし検出の回避効果を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-11-08T02:22:30Z)
• Watermarking Large Language Models and the Generated Content: Opportunities and Challenges [18.01886375229288]
  生成型大規模言語モデル(LLM)は知的財産権侵害や機械生成誤報の拡散に懸念を抱いている。 ウォーターマーキングは、所有権を確立し、許可されていない使用を防止し、LLM生成コンテンツの起源を追跡できる有望な手法として機能する。 本稿では,LLMをウォーターマークする際の課題と機会を要約し,共有する。
  論文  参考訳（メタデータ） (2024-10-24T18:55:33Z)
• ESpeW: Robust Copyright Protection for LLM-based EaaS via Embedding-Specific Watermark [50.08021440235581]
  組み込み・アズ・ア・サービス(Eding)はAIアプリケーションにおいて重要な役割を担っている。 編集はモデル抽出攻撃に対して脆弱であり、著作権保護の緊急の必要性を強調している。 そこで我々は,Edingの著作権保護を堅牢にするための新しい埋め込み専用透かし (ESpeW) 機構を提案する。
  論文  参考訳（メタデータ） (2024-10-23T04:34:49Z)
• AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA [67.68750063537482]
  拡散モデルは高品質な画像の生成において顕著な成功を収めた。 最近の研究は、SDモデルがポストホック法医学のための透かし付きコンテンツを出力できるようにすることを目的としている。 このシナリオにおける最初の実装としてtextttmethod を提案する。
  論文  参考訳（メタデータ） (2024-05-18T01:25:47Z)
• No Free Lunch in LLM Watermarking: Trade-offs in Watermarking Design Choices [20.20770405297239]
  LLM透かし方式における一般的な設計選択は、結果のシステムが驚くほど攻撃を受けやすいことを示す。 本稿では, LLM透かしのガイドラインと防御について述べる。
  論文  参考訳（メタデータ） (2024-02-25T20:24:07Z)
• WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
  本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。 透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
  論文  参考訳（メタデータ） (2023-11-16T11:58:31Z)
• Turning Your Strength into Watermark: Watermarking Large Language Model via Knowledge Injection [66.26348985345776]
  本稿では,知識注入に基づく大規模言語モデル(LLM)のための新しい透かし手法を提案する。 透かし埋め込みの段階では、まず選択した知識に透かしを埋め込んで、透かし付き知識を得る。 透かし抽出段階では、疑わしいLLMを問うために、透かし付き知識に関する質問を設計する。 実験により, 透かし抽出の成功率は100%近くであり, 提案手法の有効性, 忠実性, ステルス性, 堅牢性を示した。
  論文  参考訳（メタデータ） (2023-11-16T03:22:53Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)
• Safe and Robust Watermark Injection with a Single OoD Image [90.71804273115585]
  高性能なディープニューラルネットワークをトレーニングするには、大量のデータと計算リソースが必要である。 安全で堅牢なバックドア型透かし注入法を提案する。 我々は,透かし注入時のモデルパラメータのランダムな摂動を誘導し,一般的な透かし除去攻撃に対する防御を行う。
  論文  参考訳（メタデータ） (2023-09-04T19:58:35Z)
• On Function-Coupled Watermarks for Deep Neural Networks [15.478746926391146]
  本稿では,透かし除去攻撃に対して効果的に防御できる新しいDNN透かし法を提案する。 私たちの重要な洞察は、透かしとモデル機能の結合を強化することです。 その結果,アグレッシブ・ウォーターマーク除去攻撃による100%透かし認証の成功率を示した。
  論文  参考訳（メタデータ） (2023-02-08T05:55:16Z)
• Watermarking Pre-trained Language Models with Backdooring [118.14981787949199]
  PLMは、所有者が定義した特定の入力によって引き起こされるバックドアを埋め込むことにより、マルチタスク学習フレームワークで透かしが可能であることを示す。 また,いくつかの稀な単語をトリガーとして用いることに加えて,一般的な単語の組み合わせをバックドアトリガーとして用いることで,検出が容易でないことを示す。
  論文  参考訳（メタデータ） (2022-10-14T05:42:39Z)
• Certified Neural Network Watermarks with Randomized Smoothing [64.86178395240469]
  本稿では,ディープラーニングモデルのための認証型透かし手法を提案する。 我々の透かしは、モデルパラメータが特定のl2しきい値以上変更されない限り、取り外し不可能であることが保証されている。 私たちの透かしは、従来の透かし法に比べて経験的に頑丈です。
  論文  参考訳（メタデータ） (2022-07-16T16:06:59Z)
• Removing Backdoor-Based Watermarks in Neural Networks with Limited Data [26.050649487499626]
  ディープモデルの取引は、今日では非常に需要が高く、利益を上げている。 ナイーブ・トレーディング・スキームは 一般的に 著作権と信頼性の問題に関連する 潜在的なリスクを伴います WILDと呼ばれる限られたデータを用いたバックドア型透かし除去フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-02T06:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。