論文の概要: A Unified and Scalable Membership Inference Method for Visual Self-supervised Encoder via Part-aware Capability

• arxiv url: http://arxiv.org/abs/2505.10351v1
• Date: Thu, 15 May 2025 14:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.359253
• Title: A Unified and Scalable Membership Inference Method for Visual Self-supervised Encoder via Part-aware Capability
• Title（参考訳）: 部品認識機能を利用した視覚自己監督型エンコーダの統一的かつスケーラブルなメンバーシップ推論法
• Authors: Jie Zhu, Jirong Zha, Ding Li, Leye Wang,
• Abstract要約: 自己指導型学習は、特にビジョンにおいて、重要なプライバシー上の懸念に直面している。 本稿では,より現実的な環境下で,視覚的自己監督モデルに対する会員推定を行う。 本稿では、PartCropと呼ばれる統一メンバーシップ推論手法を提案する。
• 参考スコア（独自算出の注目度）: 10.79834380458689
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Self-supervised learning shows promise in harnessing extensive unlabeled data, but it also confronts significant privacy concerns, especially in vision. In this paper, we perform membership inference on visual self-supervised models in a more realistic setting: self-supervised training method and details are unknown for an adversary when attacking as he usually faces a black-box system in practice. In this setting, considering that self-supervised model could be trained by completely different self-supervised paradigms, e.g., masked image modeling and contrastive learning, with complex training details, we propose a unified membership inference method called PartCrop. It is motivated by the shared part-aware capability among models and stronger part response on the training data. Specifically, PartCrop crops parts of objects in an image to query responses within the image in representation space. We conduct extensive attacks on self-supervised models with different training protocols and structures using three widely used image datasets. The results verify the effectiveness and generalization of PartCrop. Moreover, to defend against PartCrop, we evaluate two common approaches, i.e., early stop and differential privacy, and propose a tailored method called shrinking crop scale range. The defense experiments indicate that all of them are effective. Finally, besides prototype testing on toy visual encoders and small-scale image datasets, we quantitatively study the impacts of scaling from both data and model aspects in a realistic scenario and propose a scalable PartCrop-v2 by introducing two structural improvements to PartCrop. Our code is at https://github.com/JiePKU/PartCrop.
• Abstract（参考訳）: 自己教師付き学習は、広範囲のラベルのないデータを活用することを約束する一方で、特にビジョンにおいて、重要なプライバシー上の懸念にも直面している。 本稿では,より現実的な状況下で,視覚的自己教師型モデルに対するメンバシップ推論を行う: 自己教師型トレーニング手法と詳細は,通常,ブラックボックスシステムに直面する場合の敵に対して未知である。 この設定では、自己教師付きモデルは、マスク付き画像モデリングやコントラスト学習など、全く異なる自己教師付きパラダイムで訓練できるので、複雑なトレーニングの詳細とともに、PartCropと呼ばれる統一メンバーシップ推論手法を提案する。 モデル間の共通部分認識能力と、トレーニングデータに対するより強力な部分応答によって動機付けられている。 具体的には、PartCropは画像内のオブジェクトの一部をトリミングして、画像内のレスポンスを表現空間内でクエリする。 我々は,3つの広く使用されている画像データセットを用いて,異なるトレーニングプロトコルと構造を持つ自己教師型モデルに対する広範囲な攻撃を行う。 その結果,PartCropの有効性と一般化が検証された。 さらに、PartCropに対抗するために、早期停止と差分プライバシーという2つの一般的なアプローチを評価し、作物の規模を縮小する手法を提案する。 防衛実験は、それらすべてが効果的であることを示している。 最後に、おもちゃのビジュアルエンコーダと小型画像データセットのプロトタイプテストに加えて、現実的なシナリオにおけるデータとモデルの両方からのスケーリングの影響を定量的に研究し、PartCropに2つの構造的改善を導入してスケーラブルなPartCrop-v2を提案する。 私たちのコードはhttps://github.com/JiePKU/PartCrop.orgにある。

関連論文リスト

• A Unified Membership Inference Method for Visual Self-supervised Encoder via Part-aware Capability [10.79834380458689]
  自己指導型学習は、特にビジョンにおいて、重要なプライバシー上の懸念に直面している。 本稿では、PartCropと呼ばれる統一メンバーシップ推論手法を提案する。 我々は、異なるトレーニングプロトコルと構造を持つ自己教師型モデルに対して、広範囲にわたる攻撃を行う。 PartCropに対抗するために、早期停止と差分プライバシーという2つの一般的なアプローチを評価し、作物の規模を縮小する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T05:04:55Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Understanding Self-Supervised Pretraining with Part-Aware Representation Learning [88.45460880824376]
  本研究では,自己教師型表現事前学習手法がパート認識表現を学習する能力について検討する。 その結果,完全教師付きモデルはオブジェクトレベルの認識において自己教師付きモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-01-27T18:58:42Z)
• UniVIP: A Unified Framework for Self-Supervised Visual Pre-training [50.87603616476038]
  単一中心オブジェクトまたは非調和データセット上で,汎用的な視覚表現を学習するための,新しい自己教師型フレームワークを提案する。 大規模実験により、非高調波COCOで事前訓練されたUniVIPは、最先端の転送性能を実現することが示された。 また、ImageNetのような単一中心オブジェクトのデータセットを利用でき、線形探索において同じ事前学習エポックでBYOLを2.5%上回る。
  論文  参考訳（メタデータ） (2022-03-14T10:04:04Z)
• Unsupervised Part Discovery from Contrastive Reconstruction [90.88501867321573]
  自己監督型視覚表現学習の目標は、強く伝達可能な画像表現を学習することである。 対象部分の発見とセグメンテーションに対する教師なしアプローチを提案する。 本手法は, 細粒度, 視覚的に異なるカテゴリ間でセマンティックな部分を生成する。
  論文  参考訳（メタデータ） (2021-11-11T17:59:42Z)
• Learning View-Disentangled Human Pose Representation by Contrastive Cross-View Mutual Information Maximization [33.36330493757669]
  本研究では2次元人間のポーズから、ポーズ依存とビュー依存因子を分離する新しい表現学習手法を提案する。 異なる視点から実行された同じポーズの相互情報を最大化する相互情報(CV-MIM)を用いてネットワークを訓練する。 CV-MIMは、シングルショットのクロスビュー設定において、競合する他の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2020-12-02T18:55:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。