論文の概要: Watermarking Vision-Language Pre-trained Models for Multi-modal
Embedding as a Service
- arxiv url: http://arxiv.org/abs/2311.05863v1
- Date: Fri, 10 Nov 2023 04:27:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 15:54:49.567018
- Title: Watermarking Vision-Language Pre-trained Models for Multi-modal
Embedding as a Service
- Title(参考訳): マルチモーダル・エンベディング・アズ・ア・サービスのための透かしビジョン言語事前学習モデル
- Authors: Yuanmin Tang, Jing Yu, Keke Gai, Xiangyan Qu, Yue Hu, Gang Xiong, Qi
Wu
- Abstract要約: マーカと呼ばれる言語に対して,ロバストな埋め込み型透かし手法を提案する。
そこで本研究では,バックドアトリガと組込み分布の両方に基づく共同著作権検証戦略を提案する。
- 参考スコア(独自算出の注目度): 19.916419258812077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in vision-language pre-trained models (VLPs) have
significantly increased visual understanding and cross-modal analysis
capabilities. Companies have emerged to provide multi-modal Embedding as a
Service (EaaS) based on VLPs (e.g., CLIP-based VLPs), which cost a large amount
of training data and resources for high-performance service. However, existing
studies indicate that EaaS is vulnerable to model extraction attacks that
induce great loss for the owners of VLPs. Protecting the intellectual property
and commercial ownership of VLPs is increasingly crucial yet challenging. A
major solution of watermarking model for EaaS implants a backdoor in the model
by inserting verifiable trigger embeddings into texts, but it is only
applicable for large language models and is unrealistic due to data and model
privacy. In this paper, we propose a safe and robust backdoor-based embedding
watermarking method for VLPs called VLPMarker. VLPMarker utilizes embedding
orthogonal transformation to effectively inject triggers into the VLPs without
interfering with the model parameters, which achieves high-quality copyright
verification and minimal impact on model performance. To enhance the watermark
robustness, we further propose a collaborative copyright verification strategy
based on both backdoor trigger and embedding distribution, enhancing resilience
against various attacks. We increase the watermark practicality via an
out-of-distribution trigger selection approach, removing access to the model
training data and thus making it possible for many real-world scenarios. Our
extensive experiments on various datasets indicate that the proposed
watermarking approach is effective and safe for verifying the copyright of VLPs
for multi-modal EaaS and robust against model extraction attacks. Our code is
available at https://github.com/Pter61/vlpmarker.
- Abstract(参考訳): 視覚言語事前学習モデル(VLP)の最近の進歩は、視覚的理解とクロスモーダル分析能力を大幅に向上させた。
企業は、vlp(例えばクリップベースのvlp)に基づいたマルチモーダル組み込みサービス(eaas)を提供するように出現し、高性能サービスのために大量のトレーニングデータとリソースを必要としている。
しかし、既存の研究では、EaaSはVLPの所有者に大きな損失をもたらすモデル抽出攻撃に弱いことが示されている。
VLPの知的財産権と商業所有権を保護することは、ますます重要で難しい。
EaaSのウォーターマーキングモデルの主要なソリューションは、検証可能なトリガの埋め込みをテキストに挿入することで、モデルにバックドアを埋め込むが、これは大きな言語モデルにのみ適用でき、データとモデルのプライバシによって非現実的である。
本稿では,VLPマーカと呼ばれるVLPの安全で堅牢な組込み透かし手法を提案する。
VLPMarkerは埋め込み直交変換を利用してモデルパラメータに干渉することなくVLPにトリガを効果的に注入し、高品質な著作権検証とモデル性能への影響を最小限に抑える。
透かしの堅牢性を高めるため,バックドアトリガと埋め込み分布に基づく協調的著作権検証戦略を提案し,様々な攻撃に対するレジリエンスを高める。
我々は,分散トリガ選択アプローチによるウォーターマークの実践性を高め,モデルのトレーニングデータへのアクセスをなくし,現実のシナリオの多くに適用可能にする。
提案手法は,多モードeaasに対するvlpの著作権の検証に有効かつ安全であり,モデル抽出攻撃に対するロバストであることを示す。
私たちのコードはhttps://github.com/pter61/vlpmarkerで利用可能です。
関連論文リスト
- Double-I Watermark: Protecting Model Copyright for LLM Fine-tuning [48.37597402174551]
二重I透かし」という新しい透かし手法を提案する。
提案手法はLLMの学習能力を活用することで,微調整中に特定の透かし情報をカスタマイズされたモデルに効果的に注入する。
提案手法を各種微調整法で評価し, その無害性, 頑健性, 独特性, 不受容性, 妥当性を理論的解析および実験的検証により検証した。
論文 参考訳(メタデータ) (2024-02-22T04:55:14Z) - Probabilistically Robust Watermarking of Neural Networks [4.64804216027185]
我々は、攻撃を盗む機能に対するレジリエンスを示す新しいトリガーセットベースの透かし手法を導入する。
私たちのアプローチでは、追加のモデルトレーニングは必要とせず、どんなモデルアーキテクチャにも適用できます。
論文 参考訳(メタデータ) (2024-01-16T10:32:13Z) - Data-Free Hard-Label Robustness Stealing Attack [67.41281050467889]
本稿では,Data-Free Hard-Label Robustness Stealing(DFHL-RS)攻撃について紹介する。
ターゲットモデルのハードラベルをクエリするだけで、モデル精度とロバスト性の両方を盗むことができる。
本手法は,AutoAttackに対して77.86%,頑健な39.51%の精度を実現する。
論文 参考訳(メタデータ) (2023-12-10T16:14:02Z) - SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T09:08:50Z) - Safe and Robust Watermark Injection with a Single OoD Image [90.71804273115585]
高性能なディープニューラルネットワークをトレーニングするには、大量のデータと計算リソースが必要である。
安全で堅牢なバックドア型透かし注入法を提案する。
我々は,透かし注入時のモデルパラメータのランダムな摂動を誘導し,一般的な透かし除去攻撃に対する防御を行う。
論文 参考訳(メタデータ) (2023-09-04T19:58:35Z) - Are You Copying My Model? Protecting the Copyright of Large Language
Models for EaaS via Backdoor Watermark [58.60940048748815]
企業は大規模な言語モデル(LLM)に基づいたEmbeddding as a Service(E)の提供を開始した。
Eはモデル抽出攻撃に弱いため、LLMの所有者に重大な損失をもたらす可能性がある。
埋め込みにバックドアを埋め込むEmbMarkerという埋め込み透かし手法を提案する。
論文 参考訳(メタデータ) (2023-05-17T08:28:54Z) - DeepHider: A Multi-module and Invisibility Watermarking Scheme for
Language Model [0.0]
本稿では,モデル分類モジュールを置換し,モデル全体の微調整を行う新たな脅威を提案する。
私たちは、盗難の所有権ステートメントを防ぐために、タンパー保護やトレーサビリティといったブロックチェーンの特性を使用します。
実験の結果,提案手法は100%の透かし検証精度でオーナシップの検証に成功した。
論文 参考訳(メタデータ) (2022-08-09T11:53:24Z) - On the Difficulty of Defending Self-Supervised Learning against Model
Extraction [23.497838165711983]
SSL(Self Supervised Learning)は、複雑な入力を明示的なラベルに頼ることなく表現に変換するモデルを訓練するMLパラダイムである。
本稿ではSSLに対するモデル盗難攻撃について検討する。
いくつかの新たな攻撃を構築し、被害者の盗難表現を直接訓練するアプローチがクエリ効率が高く、下流モデルに高い精度で適用可能であることを発見した。
論文 参考訳(メタデータ) (2022-05-16T17:20:44Z) - Don't Forget to Sign the Gradients! [60.98885980669777]
GradSignsはディープニューラルネットワーク(DNN)のための新しい透かしフレームワーク
深部ニューラルネットワーク(DNN)のための新しい透かしフレームワークであるGradSignsを紹介します。
論文 参考訳(メタデータ) (2021-03-05T14:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。