論文の概要: SSL-Auth: An Authentication Framework by Fragile Watermarking for Pre-trained Encoders in Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2308.04673v1
• Date: Wed, 9 Aug 2023 02:54:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 15:21:20.081969
• Title: SSL-Auth: An Authentication Framework by Fragile Watermarking for Pre-trained Encoders in Self-supervised Learning
• Title（参考訳）: SSL-Auth: 自己教師型学習における事前学習エンコーダのためのFragile Watermarkingによる認証フレームワーク
• Authors: Xiaobei Li, Changchun Yin, Liming Fang, Run Wang, Chenhao Lin
• Abstract要約: ラベルのないデータセットを活用して、強力なエンコーダを事前トレーニングするセルフ教師あり学習(SSL)は、近年、大きな成功を収めている。 近年の研究では、エンコーダはバックドア攻撃や敵攻撃などによって脅かされていることが示されている。 モデル性能を損なうことなくエンコーダの整合性を検証するための,最初の脆弱な透かし方式であるSSL-Authを提案する。
• 参考スコア（独自算出の注目度）: 10.534609884264237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) which leverages unlabeled datasets for pre-training powerful encoders has achieved significant success in recent years. These encoders are commonly used as feature extractors for various downstream tasks, requiring substantial data and computing resources for their training process. With the deployment of pre-trained encoders in commercial use, protecting the intellectual property of model owners and ensuring the trustworthiness of the models becomes crucial. Recent research has shown that encoders are threatened by backdoor attacks, adversarial attacks, etc. Therefore, a scheme to verify the integrity of pre-trained encoders is needed to protect users. In this paper, we propose SSL-Auth, the first fragile watermarking scheme for verifying the integrity of encoders without compromising model performance. Our method utilizes selected key samples as watermark information and trains a verification network to reconstruct the watermark information, thereby verifying the integrity of the encoder. By comparing the reconstruction results of the key samples, malicious modifications can be effectively detected, as altered models should not exhibit similar reconstruction performance as the original models. Extensive evaluations on various models and diverse datasets demonstrate the effectiveness and fragility of our proposed SSL-Auth.
• Abstract（参考訳）: ラベルなしデータセットを活用して強力なエンコーダを事前トレーニングする自己教師付き学習(SSL)は,近年,大きな成功を収めている。 これらのエンコーダは、様々なダウンストリームタスクの特徴抽出器として一般的に使われ、トレーニングプロセスに十分なデータと計算リソースを必要とする。 予め訓練されたエンコーダを商用利用することで、モデル所有者の知的財産を保護し、モデルの信頼性を確保することが重要となる。 近年の研究では、エンコーダはバックドア攻撃や敵攻撃などによって脅かされていることが示されている。 そのため,ユーザ保護のために,事前学習したエンコーダの完全性を検証するためのスキームが必要である。 本稿では,モデル性能を損なうことなくエンコーダの完全性を検証する最初の脆弱な透かし方式であるssl-authを提案する。 提案手法は,選択したキーサンプルを透かし情報として利用し,透かし情報を再構成する検証ネットワークを訓練し,エンコーダの完全性を検証する。 キーサンプルの復元結果を比較することで,修正されたモデルがオリジナルのモデルと類似した復元性能を示すべきではないため,悪意のある修正を効果的に検出することができる。 さまざまなモデルと多様なデータセットに対する広範囲な評価は、提案したSSL-Authの有効性と脆弱性を示している。

関連論文リスト

• DeDe: Detecting Backdoor Samples for SSL Encoders via Decoders [6.698677477097004]
  自己教師付き学習(SSL)は、大量のラベルのないデータで高品質な上流エンコーダのトレーニングに広く利用されている。 バックドア攻撃は トレーニングデータの ごく一部を汚染するだけ 本稿では,被害者エンコーダの共起によるバックドアマッピングの活性化を検知し,入力をトリガーする新しい検出機構であるDeDeを提案する。
  論文  参考訳（メタデータ） (2024-11-25T07:26:22Z)
• Memorization in Self-Supervised Learning Improves Downstream Generalization [49.42010047574022]
  自己教師付き学習(SSL)は、ラベルのないデータで純粋に高性能エンコーダを訓練する能力により、最近大きな注目を集めている。 SSL内での暗記を定義するためのフレームワークであるSSLMemを提案する。
  論文  参考訳（メタデータ） (2024-01-19T11:32:47Z)
• Downstream-agnostic Adversarial Examples [66.8606539786026]
  AdvEncoderは、事前訓練されたエンコーダに基づいて、ダウンストリームに依存しない普遍的敵の例を生成するための最初のフレームワークである。 従来の逆数例とは異なり、事前訓練されたエンコーダは分類ラベルではなく特徴ベクトルを出力するのみである。 その結果、攻撃者はトレーニング済みのデータセットやダウンストリームのデータセットを知らずに、ダウンストリームのタスクを攻撃できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T10:16:47Z)
• Pre-trained Encoders in Self-Supervised Learning Improve Secure and Privacy-preserving Supervised Learning [63.45532264721498]
  自己教師付き学習は、ラベルのないデータを使ってエンコーダを事前訓練するための新しいテクニックである。 我々は、事前訓練されたエンコーダがセキュア・プライバシ保護型学習アルゴリズムの限界に対処できるかどうかを理解するための、最初の体系的、原則的な測定研究を行う。
  論文  参考訳（メタデータ） (2022-12-06T21:35:35Z)
• AWEncoder: Adversarial Watermarking Pre-trained Encoders in Contrastive Learning [18.90841192412555]
  コントラスト学習において,事前学習したエンコーダをウォーターマークする逆法であるAWEncoderを導入する。 提案した研究は、異なるコントラスト学習アルゴリズムや下流タスクにおいて、極めて優れた有効性と堅牢性を持っている。
  論文  参考訳（メタデータ） (2022-08-08T07:23:37Z)
• A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond [64.85076239939336]
  視覚における自己教師付き学習(SSL)は、NLPと同様の軌道をとる可能性がある。 マスク付き予測(例えばBERT)による生成前文タスクは、NLPにおけるデファクトスタンダードSSLプラクティスとなっている。 マスク画像モデリングの成功により、マスキングオートエンコーダが復活した。
  論文  参考訳（メタデータ） (2022-07-30T09:59:28Z)
• Joint Encoder-Decoder Self-Supervised Pre-training for ASR [0.0]
  自己教師型学習は、様々な音声関連下流タスクで大きな成功を収めている。 本稿では,自己教師型学習におけるデコーダのパワーを活用した新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-06-09T12:45:29Z)
• SSLGuard: A Watermarking Scheme for Self-supervised Learning Pre-trained Encoders [9.070481370120905]
  プリトレーニングエンコーダのための最初の透かしアルゴリズムであるSSLGuardを提案する。 SSLGuardはウォーターマーク注入と検証に有効であり、モデル盗難やその他のウォーターマーク除去攻撃に対して堅牢である。
  論文  参考訳（メタデータ） (2022-01-27T17:41:54Z)
• StolenEncoder: Stealing Pre-trained Encoders [62.02156378126672]
  我々は、事前訓練された画像エンコーダを盗むStolenEncoderと呼ばれる最初の攻撃を提案する。 以上の結果から,StolenEncoderが盗んだエンコーダは,ターゲットエンコーダと同じような機能を持つことがわかった。
  論文  参考訳（メタデータ） (2022-01-15T17:04:38Z)
• Spotting adversarial samples for speaker verification by neural vocoders [102.1486475058963]
  我々は、自動話者検証(ASV)のための敵対サンプルを見つけるために、ニューラルボコーダを採用する。 元の音声と再合成音声のASVスコアの違いは、真正と逆正のサンプルの識別に良い指標であることがわかった。 私たちのコードは、将来的な比較作業のためにオープンソースにされます。
  論文  参考訳（メタデータ） (2021-07-01T08:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。