論文の概要: Watermarking Vision-Language Pre-trained Models for Multi-modal Embedding as a Service

• arxiv url: http://arxiv.org/abs/2311.05863v1
• Date: Fri, 10 Nov 2023 04:27:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 15:54:49.567018
• Title: Watermarking Vision-Language Pre-trained Models for Multi-modal Embedding as a Service
• Title（参考訳）: マルチモーダル・エンベディング・アズ・ア・サービスのための透かしビジョン言語事前学習モデル
• Authors: Yuanmin Tang, Jing Yu, Keke Gai, Xiangyan Qu, Yue Hu, Gang Xiong, Qi Wu
• Abstract要約: マーカと呼ばれる言語に対して,ロバストな埋め込み型透かし手法を提案する。 そこで本研究では,バックドアトリガと組込み分布の両方に基づく共同著作権検証戦略を提案する。
• 参考スコア（独自算出の注目度）: 19.916419258812077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in vision-language pre-trained models (VLPs) have significantly increased visual understanding and cross-modal analysis capabilities. Companies have emerged to provide multi-modal Embedding as a Service (EaaS) based on VLPs (e.g., CLIP-based VLPs), which cost a large amount of training data and resources for high-performance service. However, existing studies indicate that EaaS is vulnerable to model extraction attacks that induce great loss for the owners of VLPs. Protecting the intellectual property and commercial ownership of VLPs is increasingly crucial yet challenging. A major solution of watermarking model for EaaS implants a backdoor in the model by inserting verifiable trigger embeddings into texts, but it is only applicable for large language models and is unrealistic due to data and model privacy. In this paper, we propose a safe and robust backdoor-based embedding watermarking method for VLPs called VLPMarker. VLPMarker utilizes embedding orthogonal transformation to effectively inject triggers into the VLPs without interfering with the model parameters, which achieves high-quality copyright verification and minimal impact on model performance. To enhance the watermark robustness, we further propose a collaborative copyright verification strategy based on both backdoor trigger and embedding distribution, enhancing resilience against various attacks. We increase the watermark practicality via an out-of-distribution trigger selection approach, removing access to the model training data and thus making it possible for many real-world scenarios. Our extensive experiments on various datasets indicate that the proposed watermarking approach is effective and safe for verifying the copyright of VLPs for multi-modal EaaS and robust against model extraction attacks. Our code is available at https://github.com/Pter61/vlpmarker.
• Abstract（参考訳）: 視覚言語事前学習モデル(VLP)の最近の進歩は、視覚的理解とクロスモーダル分析能力を大幅に向上させた。 企業は、vlp(例えばクリップベースのvlp)に基づいたマルチモーダル組み込みサービス(eaas)を提供するように出現し、高性能サービスのために大量のトレーニングデータとリソースを必要としている。 しかし、既存の研究では、EaaSはVLPの所有者に大きな損失をもたらすモデル抽出攻撃に弱いことが示されている。 VLPの知的財産権と商業所有権を保護することは、ますます重要で難しい。 EaaSのウォーターマーキングモデルの主要なソリューションは、検証可能なトリガの埋め込みをテキストに挿入することで、モデルにバックドアを埋め込むが、これは大きな言語モデルにのみ適用でき、データとモデルのプライバシによって非現実的である。 本稿では,VLPマーカと呼ばれるVLPの安全で堅牢な組込み透かし手法を提案する。 VLPMarkerは埋め込み直交変換を利用してモデルパラメータに干渉することなくVLPにトリガを効果的に注入し、高品質な著作権検証とモデル性能への影響を最小限に抑える。 透かしの堅牢性を高めるため,バックドアトリガと埋め込み分布に基づく協調的著作権検証戦略を提案し,様々な攻撃に対するレジリエンスを高める。 我々は,分散トリガ選択アプローチによるウォーターマークの実践性を高め,モデルのトレーニングデータへのアクセスをなくし,現実のシナリオの多くに適用可能にする。 提案手法は,多モードeaasに対するvlpの著作権の検証に有効かつ安全であり,モデル抽出攻撃に対するロバストであることを示す。 私たちのコードはhttps://github.com/pter61/vlpmarkerで利用可能です。

関連論文リスト

• Unsupervised Domain Adaption Harnessing Vision-Language Pre-training [4.327763441385371]
  本稿では、教師なしドメイン適応(UDA)におけるビジョンランゲージ事前学習モデルのパワーを活用することに焦点を当てる。 クロスモーダル知識蒸留(CMKD)と呼ばれる新しい手法を提案する。 提案手法は,従来のベンチマーク手法よりも優れている。
  論文  参考訳（メタデータ） (2024-08-05T02:37:59Z)
• ModelShield: Adaptive and Robust Watermark against Model Extraction Attack [58.46326901858431]
  大規模言語モデル(LLM)は、さまざまな機械学習タスクにまたがる汎用インテリジェンスを示す。 敵はモデル抽出攻撃を利用して モデル生成で符号化された モデルインテリジェンスを盗むことができる ウォーターマーキング技術は、モデル生成コンテンツにユニークな識別子を埋め込むことによって、このような攻撃を防御する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-03T06:41:48Z)
• Learnable Linguistic Watermarks for Tracing Model Extraction Attacks on Large Language Models [20.44680783275184]
  モデル抽出攻撃に対する現在の透かし技術は、モデルロジットの信号挿入や生成されたテキストの後処理に依存している。 大規模言語モデル(LLM)に学習可能な言語透かしを埋め込む新しい手法を提案する。 制御ノイズをトークン周波数分布に導入し,統計的に識別可能な透かしを埋め込むことにより,LLMの出力分布を微調整する。
  論文  参考訳（メタデータ） (2024-04-28T14:45:53Z)
• Double-I Watermark: Protecting Model Copyright for LLM Fine-tuning [45.09125828947013]
  提案手法は、微調整中に特定の透かし情報をカスタマイズされたモデルに効果的に注入する。 提案手法を各種微調整法で評価し, その無害性, 頑健性, 独特性, 不受容性, 妥当性を定量的および定性的な分析により検証した。
  論文  参考訳（メタデータ） (2024-02-22T04:55:14Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Safe and Robust Watermark Injection with a Single OoD Image [90.71804273115585]
  高性能なディープニューラルネットワークをトレーニングするには、大量のデータと計算リソースが必要である。 安全で堅牢なバックドア型透かし注入法を提案する。 我々は,透かし注入時のモデルパラメータのランダムな摂動を誘導し,一般的な透かし除去攻撃に対する防御を行う。
  論文  参考訳（メタデータ） (2023-09-04T19:58:35Z)
• Are You Copying My Model? Protecting the Copyright of Large Language Models for EaaS via Backdoor Watermark [58.60940048748815]
  企業は大規模な言語モデル(LLM)に基づいたEmbeddding as a Service(E)の提供を開始した。 Eはモデル抽出攻撃に弱いため、LLMの所有者に重大な損失をもたらす可能性がある。 埋め込みにバックドアを埋め込むEmbMarkerという埋め込み透かし手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:28:54Z)
• Don't Forget to Sign the Gradients! [60.98885980669777]
  GradSignsはディープニューラルネットワーク(DNN)のための新しい透かしフレームワーク 深部ニューラルネットワーク(DNN)のための新しい透かしフレームワークであるGradSignsを紹介します。
  論文  参考訳（メタデータ） (2021-03-05T14:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。