論文の概要: SSL-WM: A Black-Box Watermarking Approach for Encoders Pre-trained by Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2209.03563v1
• Date: Thu, 8 Sep 2022 05:02:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-09 13:18:11.557462
• Title: SSL-WM: A Black-Box Watermarking Approach for Encoders Pre-trained by Self-supervised Learning
• Title（参考訳）: SSL-WM:自己教師型学習によるエンコーダのブラックボックス透かし手法
• Authors: Peizhuo Lv, Pan Li, Shenchen Zhu, Shengzhi Zhang, Kai Chen, Ruigang Liang, Chang Yue, Fan Xiang, Yuling Cai, Hualong Ma, Yingjun Zhang, Guozhu Meng
• Abstract要約: 自己監視学習(SSL)モデルは、利益のために盗まれ、商業化される可能性がある。 SSLモデルのオーナシップを保護するため,SSL-WMと呼ばれる新しいブラックボックス透かし方式を提案する。 SSL-WMは、さまざまなダウンストリームタスクにおいて、盗まれたSSLモデルのオーナシップを効果的に検証できる。
• 参考スコア（独自算出の注目度）: 20.0731682564249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed significant success in Self-Supervised Learning (SSL), which facilitates various downstream tasks. However, attackers may steal such SSL models and commercialize them for profit, making it crucial to protect their Intellectual Property (IP). Most existing IP protection solutions are designed for supervised learning models and cannot be used directly since they require that the models' downstream tasks and target labels be known and available during watermark embedding, which is not always possible in the domain of SSL. To address such a problem especially when downstream tasks are diverse and unknown during watermark embedding, we propose a novel black-box watermarking solution, named SSL-WM, for protecting the ownership of SSL models. SSL-WM maps watermarked inputs by the watermarked encoders into an invariant representation space, which causes any downstream classifiers to produce expected behavior, thus allowing the detection of embedded watermarks. We evaluate SSL-WM on numerous tasks, such as Computer Vision (CV) and Natural Language Processing (NLP), using different SSL models, including contrastive-based and generative-based. Experimental results demonstrate that SSL-WM can effectively verify the ownership of stolen SSL models in various downstream tasks. Furthermore, SSL-WM is robust against model fine-tuning and pruning attacks. Lastly, SSL-WM can also evade detection from evaluated watermark detection approaches, demonstrating its promising application in protecting the IP of SSL models.
• Abstract（参考訳）: 近年では、さまざまなダウンストリームタスクを促進する自己監視学習(SSL)で大きな成功を収めている。 しかし、攻撃者はそのようなSSLモデルを盗み、利益のために商業化する可能性があるため、知的財産(IP)を保護することが不可欠である。 既存のIP保護ソリューションの多くは教師付き学習モデル用に設計されており、モデルダウンストリームタスクとターゲットラベルを、SSLのドメインでは必ずしも不可能なウォーターマーク埋め込み時に知って、利用できるようにする必要があるため、直接は使用できない。 特に、ウォーターマーク埋め込み中に下流タスクが多様で未知な場合に、SSL-WMと呼ばれる新しいブラックボックス透かしソリューションを提案し、SSLモデルのオーナシップを保護する。 SSL-WMは、透かしエンコーダによる透かし入力を不変表現空間にマッピングし、任意の下流分類器が期待する振る舞いを生じさせ、埋め込み透かしの検出を可能にする。 我々は,コンピュータビジョン(CV)や自然言語処理(NLP)などのタスクにおいて,コントラストベースや生成ベースを含む異なるSSLモデルを用いてSSL-WMを評価する。 実験の結果、SSL-WMは、さまざまな下流タスクにおいて、盗まれたSSLモデルのオーナシップを効果的に検証できることが示された。 さらに、SSL-WMはモデル微調整およびプルーニング攻撃に対して堅牢である。 最後に、SSL-WMは評価された透かし検出アプローチからの検出を回避し、SSLモデルのIPを保護するための有望な応用を実証する。

関連論文リスト

• Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning [4.137391543972184]
  半教師付き学習(SSL)は目覚ましい進歩をみせており、多くの方法のバリエーションをもたらしている。 本稿では,FinSSLという新しいSSLアプローチを提案する。 我々は、FineSSLが複数のベンチマークデータセットにSSLの新たな状態を設定し、トレーニングコストを6倍以上削減し、さまざまな微調整と現代的なSSLアルゴリズムをシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-05-20T03:33:12Z)
• Towards Adversarial Robustness And Backdoor Mitigation in SSL [0.562479170374811]
  Self-Supervised Learning (SSL)は、ラベルのないデータから表現を学習する際の大きな可能性を示している。 SSLメソッドは、最近、バックドア攻撃に対して脆弱であることが示されている。 この作業はSSLのバックドア攻撃に対する防御に対処することを目的としている。
  論文  参考訳（メタデータ） (2024-03-23T19:21:31Z)
• Erasing Self-Supervised Learning Backdoor by Cluster Activation Masking [65.44477004525231]
  研究者は最近、自己監視学習(SSL)がバックドア攻撃に脆弱であることを発見した。 本稿では,クラスタアクティベーションマスキングによるSSLバックドアの消去を提案し,新しいPoisonCAM法を提案する。 ImageNet-100の最先端手法の3%と比較して,バックドアトリガ検出の精度は96%であった。
  論文  参考訳（メタデータ） (2023-12-13T08:01:15Z)
• Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls and Opportunities [50.231837687221685]
  自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。 非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
  論文  参考訳（メタデータ） (2023-08-28T07:55:01Z)
• SSL-Cleanse: Trojan Detection and Mitigation in Self-Supervised Learning [27.68997463681079]
  自己教師付き学習(SSL)は、データ表現を符号化する一般的な手法である。 SSLエンコーダに埋め込まれたTrojan攻撃は隠蔽的に動作し、複数のユーザやデバイスに分散する。 SSLエンコーダのバックドア脅威を特定し軽減するためのソリューションとしてSSL-Cleanseを導入します。
  論文  参考訳（メタデータ） (2023-03-16T04:45:06Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond [64.85076239939336]
  視覚における自己教師付き学習(SSL)は、NLPと同様の軌道をとる可能性がある。 マスク付き予測(例えばBERT)による生成前文タスクは、NLPにおけるデファクトスタンダードSSLプラクティスとなっている。 マスク画像モデリングの成功により、マスキングオートエンコーダが復活した。
  論文  参考訳（メタデータ） (2022-07-30T09:59:28Z)
• Combining Spectral and Self-Supervised Features for Low Resource Speech Recognition and Translation [27.857955394020475]
  自己教師付き学習(SSL)モデルは、様々なディープラーニングベースの音声タスクにうまく適用されている。 SSL表現の品質は、SSLトレーニングドメインとターゲットデータドメインの関連性に大きく依存します。 SFとSSLの表現を組み合わせるための学習可能かつ解釈可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-05T20:09:15Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
  自己管理タスク(SSL)は、データと異なる特徴を明らかにする。 この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。 音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-04T09:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。