論文の概要: Watermarking Pre-trained Encoders in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2201.08217v1
• Date: Thu, 20 Jan 2022 15:14:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 14:20:00.775324
• Title: Watermarking Pre-trained Encoders in Contrastive Learning
• Title（参考訳）: コントラスト学習における事前学習エンコーダの透かし
• Authors: Yutong Wu, Han Qiu, Tianwei Zhang, Jiwei L, Meikang Qiu
• Abstract要約: 事前訓練されたエンコーダは、慎重に保護される必要がある重要な知的財産である。 既存の透かし技法を分類タスクから対照的な学習シナリオに移行することは困難である。 本稿では,エンコーダの裏口をウォーターマークとして効果的に埋め込むタスク非依存の損失関数を提案する。
• 参考スコア（独自算出の注目度）: 9.23485246108653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has become a popular technique to pre-train image encoders, which could be used to build various downstream classification models in an efficient way. This process requires a large amount of data and computation resources. Hence, the pre-trained encoders are an important intellectual property that needs to be carefully protected. It is challenging to migrate existing watermarking techniques from the classification tasks to the contrastive learning scenario, as the owner of the encoder lacks the knowledge of the downstream tasks which will be developed from the encoder in the future. We propose the \textit{first} watermarking methodology for the pre-trained encoders. We introduce a task-agnostic loss function to effectively embed into the encoder a backdoor as the watermark. This backdoor can still exist in any downstream models transferred from the encoder. Extensive evaluations over different contrastive learning algorithms, datasets, and downstream tasks indicate our watermarks exhibit high effectiveness and robustness against different adversarial operations.
• Abstract（参考訳）: コントラスト学習は、画像エンコーダを事前学習するための一般的な技術となり、効率的な下流分類モデルの構築に利用できる。 このプロセスには大量のデータと計算資源が必要です。 したがって、事前訓練されたエンコーダは、慎重に保護される必要がある重要な知的財産である。 エンコーダの所有者は、将来エンコーダから開発される下流タスクの知識を欠いているため、既存の透かし技法を分類タスクから対照的な学習シナリオに移行することは困難である。 本稿では,事前学習したエンコーダに対するtextit{first} 透かし手法を提案する。 我々は、バックドアを透かしとしてエンコーダに効果的に埋め込むタスクに依存しない損失関数を導入する。 このバックドアは、エンコーダから転送される下流モデルにも引き続き存在する。 異なるコントラスト学習アルゴリズム、データセット、下流タスクに対する広範な評価は、異なる敵対的操作に対する高い有効性と堅牢性を示している。

関連論文リスト

• Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。 本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
  論文  参考訳（メタデータ） (2023-09-25T17:23:33Z)
• Downstream-agnostic Adversarial Examples [66.8606539786026]
  AdvEncoderは、事前訓練されたエンコーダに基づいて、ダウンストリームに依存しない普遍的敵の例を生成するための最初のフレームワークである。 従来の逆数例とは異なり、事前訓練されたエンコーダは分類ラベルではなく特徴ベクトルを出力するのみである。 その結果、攻撃者はトレーニング済みのデータセットやダウンストリームのデータセットを知らずに、ダウンストリームのタスクを攻撃できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T10:16:47Z)
• Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving [74.28510044056706]
  既存のメソッドは通常、分離されたエンコーダ-デコーダパラダイムを採用する。 本研究は,この問題を2つの原則で緩和することを目的としている。 まず、エンコーダの特徴に基づいて、粗い将来の位置と行動を予測する。 そして、その位置と動作を条件に、将来のシーンを想像して、それに従って運転した場合にその影響を確認する。
  論文  参考訳（メタデータ） (2023-05-10T15:22:02Z)
• AWEncoder: Adversarial Watermarking Pre-trained Encoders in Contrastive Learning [18.90841192412555]
  コントラスト学習において,事前学習したエンコーダをウォーターマークする逆法であるAWEncoderを導入する。 提案した研究は、異なるコントラスト学習アルゴリズムや下流タスクにおいて、極めて優れた有効性と堅牢性を持っている。
  論文  参考訳（メタデータ） (2022-08-08T07:23:37Z)
• Transfer Learning for Segmentation Problems: Choose the Right Encoder and Skip the Decoder [0.0]
  ダウンストリームタスクのパフォーマンスを向上させるために、最初は異なるデータでトレーニングされたモデルを再利用するのが一般的です。 本研究では,画素単位の分類問題であるセグメンテーション問題に対する移動学習の影響について検討する。 デコーダのトランスファー学習は下流のセグメンテーションタスクに役立ちませんが、エンコーダのトランスファー学習は本当に有益です。
  論文  参考訳（メタデータ） (2022-07-29T07:02:05Z)
• PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
  コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。 特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。 我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
  論文  参考訳（メタデータ） (2022-05-13T00:15:44Z)
• SSLGuard: A Watermarking Scheme for Self-supervised Learning Pre-trained Encoders [9.070481370120905]
  プリトレーニングエンコーダのための最初の透かしアルゴリズムであるSSLGuardを提案する。 SSLGuardはウォーターマーク注入と検証に有効であり、モデル盗難やその他のウォーターマーク除去攻撃に対して堅牢である。
  論文  参考訳（メタデータ） (2022-01-27T17:41:54Z)
• StolenEncoder: Stealing Pre-trained Encoders [62.02156378126672]
  我々は、事前訓練された画像エンコーダを盗むStolenEncoderと呼ばれる最初の攻撃を提案する。 以上の結果から,StolenEncoderが盗んだエンコーダは,ターゲットエンコーダと同じような機能を持つことがわかった。
  論文  参考訳（メタデータ） (2022-01-15T17:04:38Z)
• Don't Forget to Sign the Gradients! [60.98885980669777]
  GradSignsはディープニューラルネットワーク(DNN)のための新しい透かしフレームワーク 深部ニューラルネットワーク(DNN)のための新しい透かしフレームワークであるGradSignsを紹介します。
  論文  参考訳（メタデータ） (2021-03-05T14:24:32Z)
• Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
  本稿では,効率よく適応的なコード駆動グラフを提案する。 自動エンコーダのコンテキストでデコードすることで更新される。 ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
  論文  参考訳（メタデータ） (2020-02-27T05:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。