論文の概要: SSL-WM: A Black-Box Watermarking Approach for Encoders Pre-trained by Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2209.03563v2
• Date: Mon, 29 Jan 2024 14:25:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 01:05:59.810044
• Title: SSL-WM: A Black-Box Watermarking Approach for Encoders Pre-trained by Self-supervised Learning
• Title（参考訳）: SSL-WM:自己教師型学習によるエンコーダのブラックボックス透かし手法
• Authors: Peizhuo Lv, Pan Li, Shenchen Zhu, Shengzhi Zhang, Kai Chen, Ruigang Liang, Chang Yue, Fan Xiang, Yuling Cai, Hualong Ma, Yingjun Zhang, Guozhu Meng
• Abstract要約: 自己監視学習(SSL)はコンピュータビジョン(CV)や自然言語処理(NLP)の様々な下流タスクに広く利用されている。 攻撃者はそのようなSSLモデルを盗み、利益のために商業化する可能性があり、SSLモデルの所有権を検証することが不可欠である。 既存の所有権保護ソリューション(例えば、バックドアベースの透かし)は、教師あり学習モデルのために設計されている。 SSLモデルのオーナシップを検証するため,SSL-WMと呼ばれる新しいブラックボックス透かし方式を提案する。
• 参考スコア（独自算出の注目度）: 21.36798280084255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed tremendous success in Self-Supervised Learning (SSL), which has been widely utilized to facilitate various downstream tasks in Computer Vision (CV) and Natural Language Processing (NLP) domains. However, attackers may steal such SSL models and commercialize them for profit, making it crucial to verify the ownership of the SSL models. Most existing ownership protection solutions (e.g., backdoor-based watermarks) are designed for supervised learning models and cannot be used directly since they require that the models' downstream tasks and target labels be known and available during watermark embedding, which is not always possible in the domain of SSL. To address such a problem, especially when downstream tasks are diverse and unknown during watermark embedding, we propose a novel black-box watermarking solution, named SSL-WM, for verifying the ownership of SSL models. SSL-WM maps watermarked inputs of the protected encoders into an invariant representation space, which causes any downstream classifier to produce expected behavior, thus allowing the detection of embedded watermarks. We evaluate SSL-WM on numerous tasks, such as CV and NLP, using different SSL models both contrastive-based and generative-based. Experimental results demonstrate that SSL-WM can effectively verify the ownership of stolen SSL models in various downstream tasks. Furthermore, SSL-WM is robust against model fine-tuning, pruning, and input preprocessing attacks. Lastly, SSL-WM can also evade detection from evaluated watermark detection approaches, demonstrating its promising application in protecting the ownership of SSL models.
• Abstract（参考訳）: 近年,コンピュータビジョン (CV) や自然言語処理 (NLP) ドメインにおける下流タスクの促進に広く利用されているセルフスーパーバイザード・ラーニング (SSL) が大きな成功を収めている。 しかし、攻撃者はそのようなSSLモデルを盗み、利益のために商業化する可能性があり、SSLモデルの所有権を検証することが不可欠である。 既存のオーナシップ保護ソリューション(例えば、バックドアベースの透かし)は、教師付き学習モデルのために設計されており、モデルの下流タスクとターゲットラベルは、常にSSLのドメインでは不可能なウォーターマーク埋め込み時に知っていて利用可能である必要があるため、直接使用できない。 このような問題に対処するために、特にウォーターマーク埋め込み中に下流タスクが多様で未知の場合、SSL-WMと呼ばれる新しいブラックボックス透かしソリューションを提案し、SSLモデルのオーナシップを検証する。 SSL-WMは、保護されたエンコーダの透かし入力を不変表現空間にマッピングし、任意の下流分類器が期待する振る舞いを生じさせ、埋め込みされた透かしの検出を可能にする。 我々は,コントラストベースと生成ベースの両方で異なるSSLモデルを用いて,CVやNLPなどの多数のタスクにおいてSSL-WMを評価する。 実験の結果、SSL-WMは、さまざまな下流タスクにおいて、盗まれたSSLモデルのオーナシップを効果的に検証できることが示された。 さらに、SSL-WMはモデル微調整、プルーニング、入力前処理攻撃に対して堅牢である。 最後に、SSL-WMは評価された透かし検出アプローチからの検出を回避し、SSLモデルのオーナシップを保護するための有望な応用を実証する。

関連論文リスト

• Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning [4.137391543972184]
  半教師付き学習(SSL)は目覚ましい進歩をみせており、多くの方法のバリエーションをもたらしている。 本稿では,FinSSLという新しいSSLアプローチを提案する。 我々は、FineSSLが複数のベンチマークデータセットにSSLの新たな状態を設定し、トレーニングコストを6倍以上削減し、さまざまな微調整と現代的なSSLアルゴリズムをシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-05-20T03:33:12Z)
• Towards Adversarial Robustness And Backdoor Mitigation in SSL [0.562479170374811]
  Self-Supervised Learning (SSL)は、ラベルのないデータから表現を学習する際の大きな可能性を示している。 SSLメソッドは、最近、バックドア攻撃に対して脆弱であることが示されている。 この作業はSSLのバックドア攻撃に対する防御に対処することを目的としている。
  論文  参考訳（メタデータ） (2024-03-23T19:21:31Z)
• Erasing Self-Supervised Learning Backdoor by Cluster Activation Masking [65.44477004525231]
  研究者は最近、自己監視学習(SSL)がバックドア攻撃に脆弱であることを発見した。 本稿では,クラスタアクティベーションマスキングによるSSLバックドアの消去を提案し,新しいPoisonCAM法を提案する。 ImageNet-100の最先端手法の3%と比較して,バックドアトリガ検出の精度は96%であった。
  論文  参考訳（メタデータ） (2023-12-13T08:01:15Z)
• Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls and Opportunities [50.231837687221685]
  自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。 非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
  論文  参考訳（メタデータ） (2023-08-28T07:55:01Z)
• SSL-Cleanse: Trojan Detection and Mitigation in Self-Supervised Learning [27.68997463681079]
  自己教師付き学習(SSL)は、データ表現を符号化する一般的な手法である。 SSLエンコーダに埋め込まれたTrojan攻撃は隠蔽的に動作し、複数のユーザやデバイスに分散する。 SSLエンコーダのバックドア脅威を特定し軽減するためのソリューションとしてSSL-Cleanseを導入します。
  論文  参考訳（メタデータ） (2023-03-16T04:45:06Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond [64.85076239939336]
  視覚における自己教師付き学習(SSL)は、NLPと同様の軌道をとる可能性がある。 マスク付き予測(例えばBERT)による生成前文タスクは、NLPにおけるデファクトスタンダードSSLプラクティスとなっている。 マスク画像モデリングの成功により、マスキングオートエンコーダが復活した。
  論文  参考訳（メタデータ） (2022-07-30T09:59:28Z)
• Combining Spectral and Self-Supervised Features for Low Resource Speech Recognition and Translation [27.857955394020475]
  自己教師付き学習(SSL)モデルは、様々なディープラーニングベースの音声タスクにうまく適用されている。 SSL表現の品質は、SSLトレーニングドメインとターゲットデータドメインの関連性に大きく依存します。 SFとSSLの表現を組み合わせるための学習可能かつ解釈可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-05T20:09:15Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
  自己管理タスク(SSL)は、データと異なる特徴を明らかにする。 この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。 音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-04T09:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。