論文の概要: SSLGuard: A Watermarking Scheme for Self-supervised Learning Pre-trained Encoders

• arxiv url: http://arxiv.org/abs/2201.11692v1
• Date: Thu, 27 Jan 2022 17:41:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 16:56:45.884908
• Title: SSLGuard: A Watermarking Scheme for Self-supervised Learning Pre-trained Encoders
• Title（参考訳）: SSLGuard: 自己教師型学習事前トレーニングエンコーダのための透かし方式
• Authors: Tianshuo Cong and Xinlei He and Yang Zhang
• Abstract要約: プリトレーニングエンコーダのための最初の透かしアルゴリズムであるSSLGuardを提案する。 SSLGuardはウォーターマーク注入と検証に有効であり、モデル盗難やその他のウォーターマーク除去攻撃に対して堅牢である。
• 参考スコア（独自算出の注目度）: 9.070481370120905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning is an emerging machine learning (ML) paradigm. Compared to supervised learning that leverages high-quality labeled datasets to achieve good performance, self-supervised learning relies on unlabeled datasets to pre-train powerful encoders which can then be treated as feature extractors for various downstream tasks. The huge amount of data and computational resources consumption makes the encoders themselves become a valuable intellectual property of the model owner. Recent research has shown that the ML model's copyright is threatened by model stealing attacks, which aims to train a surrogate model to mimic the behavior of a given model. We empirically show that pre-trained encoders are highly vulnerable to model stealing attacks. However, most of the current efforts of copyright protection algorithms such as fingerprinting and watermarking concentrate on classifiers. Meanwhile, the intrinsic challenges of pre-trained encoder's copyright protection remain largely unstudied. We fill the gap by proposing SSLGuard, the first watermarking algorithm for pre-trained encoders. Given a clean pre-trained encoder, SSLGuard embeds a watermark into it and outputs a watermarked version. The shadow training technique is also applied to preserve the watermark under potential model stealing attacks. Our extensive evaluation shows that SSLGuard is effective in watermark injection and verification, and is robust against model stealing and other watermark removal attacks such as pruning and finetuning.
• Abstract（参考訳）: 自己教師型学習は、新しい機械学習(ML)パラダイムである。 優れたパフォーマンスを達成するために高品質のラベル付きデータセットを活用する教師付き学習と比較すると、自己教師付き学習はラベル付きデータセットを使用して強力なエンコーダを事前学習する。 膨大な量のデータと計算資源の消費により、エンコーダ自体がモデル所有者の貴重な知的財産となる。 近年の研究では、MLモデルの著作権はモデル盗難攻撃によって脅かされていることが示されている。 トレーニング済みのエンコーダは、モデル盗難攻撃に対して非常に脆弱であることを示す。 しかし、指紋や透かしなどの著作権保護アルゴリズムの現在の取り組みのほとんどは、分類器に集中している。 一方、事前訓練されたエンコーダの著作権保護に関する本質的な課題はほとんど研究されていない。 トレーニング済みエンコーダのための最初の透かしアルゴリズムであるSSLGuardを提案することで、このギャップを埋める。 クリーンなプリトレーニングエンコーダが与えられると、sslguardはウォーターマークを組み込んで、ウォーターマーク付きバージョンを出力する。 シャドートレーニング技術は、潜在的なモデル盗み攻撃で透かしを保存するためにも用いられる。 SSLGuardはウォーターマーク注入や検証に有効であり, モデル盗難やプルーニングやファインタニングなどのウォーターマーク除去攻撃に対して堅牢であることを示す。

関連論文リスト

• Transferable Watermarking to Self-supervised Pre-trained Graph Encoders by Trigger Embeddings [43.067822791795095]
  Graph Self-supervised Learning (GSSL)は、基礎グラフエンコーダの事前トレーニングを可能にする。 このようなエンコーダは簡単にプルインできるので、著作権侵害に弱い。 我々はGSSL設定でグラフエンコーダを保護する新しい透かしフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-06-19T03:16:11Z)
• Towards Robust Model Watermark via Reducing Parametric Vulnerability [57.66709830576457]
  バックドアベースのオーナシップ検証が最近人気となり,モデルオーナがモデルをウォーターマークすることが可能になった。 本研究では,これらの透かし除去モデルを発見し,それらの透かし挙動を復元するミニマックス定式化を提案する。 本手法は,パラメトリックな変化と多数のウォーターマーク除去攻撃に対するモデル透かしの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-09-09T12:46:08Z)
• Downstream-agnostic Adversarial Examples [66.8606539786026]
  AdvEncoderは、事前訓練されたエンコーダに基づいて、ダウンストリームに依存しない普遍的敵の例を生成するための最初のフレームワークである。 従来の逆数例とは異なり、事前訓練されたエンコーダは分類ラベルではなく特徴ベクトルを出力するのみである。 その結果、攻撃者はトレーニング済みのデータセットやダウンストリームのデータセットを知らずに、ダウンストリームのタスクを攻撃できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T10:16:47Z)
• Did You Train on My Dataset? Towards Public Dataset Protection with Clean-Label Backdoor Watermarking [54.40184736491652]
  本稿では,公開データの保護のための一般的な枠組みとして機能するバックドアベースの透かし手法を提案する。 データセットに少数の透かしサンプルを挿入することにより、我々のアプローチは、ディフェンダーが設定した秘密関数を暗黙的に学習することを可能にする。 この隠れた機能は、データセットを違法に使用するサードパーティモデルを追跡するための透かしとして使用できる。
  論文  参考訳（メタデータ） (2023-03-20T21:54:30Z)
• Dataset Inference for Self-Supervised Models [21.119579812529395]
  機械学習(ML)における自己教師型モデルの普及 それらは、出力するベクトル表現の高次元性のために、モデルステルス攻撃に対して脆弱である。 我々は、被害者エンコーダモデルのプライベートトレーニングセットを使用して、盗難時にその所有権を属性とする新しいデータセット推論ディフェンスを導入する。
  論文  参考訳（メタデータ） (2022-09-16T15:39:06Z)
• Watermarking Pre-trained Encoders in Contrastive Learning [9.23485246108653]
  事前訓練されたエンコーダは、慎重に保護される必要がある重要な知的財産である。 既存の透かし技法を分類タスクから対照的な学習シナリオに移行することは困難である。 本稿では,エンコーダの裏口をウォーターマークとして効果的に埋め込むタスク非依存の損失関数を提案する。
  論文  参考訳（メタデータ） (2022-01-20T15:14:31Z)
• Can't Steal? Cont-Steal! Contrastive Stealing Attacks Against Image Encoders [23.2869445054295]
  自己教師付き表現学習技術は、下流のタスクに不利なリッチな特徴に画像をエンコードする。 専用モデル設計と大量のリソースの要求は、潜在的なモデル盗難攻撃のリスクに画像エンコーダを露出させる。 本研究では,コントラスト学習に基づく攻撃であるCont-Stealを提案する。
  論文  参考訳（メタデータ） (2022-01-19T10:27:28Z)
• Deep Model Intellectual Property Protection via Deep Watermarking [122.87871873450014]
  ディープニューラルネットワークは深刻なip侵害リスクにさらされている。 ターゲットの深層モデルを考えると、攻撃者がその全情報を知っていれば、微調整で簡単に盗むことができる。 低レベルのコンピュータビジョンや画像処理タスクで訓練されたディープネットワークを保護するための新しいモデル透かしフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-08T18:58:21Z)
• Don't Forget to Sign the Gradients! [60.98885980669777]
  GradSignsはディープニューラルネットワーク(DNN)のための新しい透かしフレームワーク 深部ニューラルネットワーク(DNN)のための新しい透かしフレームワークであるGradSignsを紹介します。
  論文  参考訳（メタデータ） (2021-03-05T14:24:32Z)
• Model Watermarking for Image Processing Networks [120.918532981871]
  深層モデルの知的財産権を保護する方法は、非常に重要であるが、真に研究されていない問題である。 画像処理モデルを保護するための最初のモデル透かしフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-25T18:36:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。