論文の概要: A Unified Membership Inference Method for Visual Self-supervised Encoder via Part-aware Capability

• arxiv url: http://arxiv.org/abs/2404.02462v1
• Date: Wed, 3 Apr 2024 05:04:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 18:29:43.559835
• Title: A Unified Membership Inference Method for Visual Self-supervised Encoder via Part-aware Capability
• Title（参考訳）: 部品認識機能を利用した視覚自己監督型エンコーダの統一メンバーシップ推論法
• Authors: Jie Zhu, Jirong Zha, Ding Li, Leye Wang,
• Abstract要約: 自己指導型学習は、特にビジョンにおいて、重要なプライバシー上の懸念に直面している。 本稿では、PartCropと呼ばれる統一メンバーシップ推論手法を提案する。 我々は、異なるトレーニングプロトコルと構造を持つ自己教師型モデルに対して、広範囲にわたる攻撃を行う。
• 参考スコア（独自算出の注目度）: 10.79834380458689
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Self-supervised learning shows promise in harnessing extensive unlabeled data, but it also confronts significant privacy concerns, especially in vision. In this paper, we aim to perform membership inference on visual self-supervised models in a more realistic setting: self-supervised training method and details are unknown for an adversary when attacking as he usually faces a black-box system in practice. In this setting, considering that self-supervised model could be trained by completely different self-supervised paradigms, e.g., masked image modeling and contrastive learning, with complex training details, we propose a unified membership inference method called PartCrop. It is motivated by the shared part-aware capability among models and stronger part response on the training data. Specifically, PartCrop crops parts of objects in an image to query responses with the image in representation space. We conduct extensive attacks on self-supervised models with different training protocols and structures using three widely used image datasets. The results verify the effectiveness and generalization of PartCrop. Moreover, to defend against PartCrop, we evaluate two common approaches, i.e., early stop and differential privacy, and propose a tailored method called shrinking crop scale range. The defense experiments indicate that all of them are effective. Our code is available at https://github.com/JiePKU/PartCrop
• Abstract（参考訳）: 自己教師付き学習は、広範囲のラベルのないデータを活用することを約束する一方で、特にビジョンにおいて、重要なプライバシー上の懸念にも直面している。 本稿では,視覚的自己指導型モデルに対して,より現実的な方法でメンバシップ推論を行うことを目的としている: 自己指導型トレーニング手法と詳細は,通常,ブラックボックスシステムに直面する場合,敵に対して不明である。 この設定では、自己教師付きモデルは、マスク付き画像モデリングやコントラスト学習など、全く異なる自己教師付きパラダイムで訓練できるので、複雑なトレーニングの詳細とともに、PartCropと呼ばれる統一メンバーシップ推論手法を提案する。 モデル間の共通部分認識能力と、トレーニングデータに対するより強力な部分応答によって動機付けられている。 具体的には、PartCropは画像内のオブジェクトの一部をトリミングして、表現空間内の画像との応答をクエリする。 我々は,3つの広く使用されている画像データセットを用いて,異なるトレーニングプロトコルと構造を持つ自己教師型モデルに対する広範囲な攻撃を行う。 その結果,PartCropの有効性と一般化が検証された。 さらに、PartCropに対抗するために、早期停止と差分プライバシーという2つの一般的なアプローチを評価し、作物の規模を縮小する手法を提案する。 防御実験は、それらすべてが効果的であることを示している。 私たちのコードはhttps://github.com/JiePKU/PartCropで利用可能です。

関連論文リスト

• Heuristic Vision Pre-Training with Self-Supervised and Supervised Multi-Task Learning [0.0]
  マルチタスク方式で自己教師型と教師型の両方の視覚的プレテキストタスクを採用することで、新しい事前学習フレームワークを提案する。 その結果、事前学習したモデルでは、複数の視覚的タスクにおいて、最先端(SOTA)結果と同等以上の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-11T14:06:04Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Understanding Self-Supervised Pretraining with Part-Aware Representation Learning [88.45460880824376]
  本研究では,自己教師型表現事前学習手法がパート認識表現を学習する能力について検討する。 その結果,完全教師付きモデルはオブジェクトレベルの認識において自己教師付きモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-01-27T18:58:42Z)
• Matching Multiple Perspectives for Efficient Representation Learning [0.0]
  本稿では,自己教師型学習とマルチパースペクティブマッチング技術を組み合わせたアプローチを提案する。 我々は,同一オブジェクトの複数ビューと多種多様な自己教師付き事前学習アルゴリズムを組み合わせることで,オブジェクト分類性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-08-16T10:33:13Z)
• UniVIP: A Unified Framework for Self-Supervised Visual Pre-training [50.87603616476038]
  単一中心オブジェクトまたは非調和データセット上で,汎用的な視覚表現を学習するための,新しい自己教師型フレームワークを提案する。 大規模実験により、非高調波COCOで事前訓練されたUniVIPは、最先端の転送性能を実現することが示された。 また、ImageNetのような単一中心オブジェクトのデータセットを利用でき、線形探索において同じ事前学習エポックでBYOLを2.5%上回る。
  論文  参考訳（メタデータ） (2022-03-14T10:04:04Z)
• CoCon: Cooperative-Contrastive Learning [52.342936645996765]
  自己教師付き視覚表現学習は効率的な映像分析の鍵である。 最近の画像表現の学習の成功は、コントラスト学習がこの課題に取り組むための有望なフレームワークであることを示唆している。 コントラスト学習の協調的バリエーションを導入し、ビュー間の相補的な情報を活用する。
  論文  参考訳（メタデータ） (2021-04-30T05:46:02Z)
• Self-supervised Human Detection and Segmentation via Multi-view Consensus [116.92405645348185]
  本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。 本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
  論文  参考訳（メタデータ） (2020-12-09T15:47:21Z)
• Learning View-Disentangled Human Pose Representation by Contrastive Cross-View Mutual Information Maximization [33.36330493757669]
  本研究では2次元人間のポーズから、ポーズ依存とビュー依存因子を分離する新しい表現学習手法を提案する。 異なる視点から実行された同じポーズの相互情報を最大化する相互情報(CV-MIM)を用いてネットワークを訓練する。 CV-MIMは、シングルショットのクロスビュー設定において、競合する他の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2020-12-02T18:55:35Z)
• Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning [27.494206948563885]
  本稿では,転送学習モデルに対するメンバシップ推論攻撃の最初の体系的評価について述べる。 4つの実世界の画像データセットに対する実験により、メンバーシップ推論が効果的なパフォーマンスを達成できることが示されている。 我々の結果は、実際に機械学習モデルから生じるメンバーシップリスクの深刻さを浮き彫りにした。
  論文  参考訳（メタデータ） (2020-09-10T14:14:22Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。