論文の概要: Quantifying and Mitigating Privacy Risks of Contrastive Learning
- arxiv url: http://arxiv.org/abs/2102.04140v1
- Date: Mon, 8 Feb 2021 11:38:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 00:54:48.578912
- Title: Quantifying and Mitigating Privacy Risks of Contrastive Learning
- Title（参考訳）: コントラスト学習におけるプライバシーリスクの定量化と緩和
- Authors: Xinlei He and Yang Zhang
- Abstract要約: 我々は、会員推定と属性推論のレンズを通して、コントラスト学習の最初のプライバシ分析を行う。
その結果,コントラストモデルではメンバシップ推論攻撃に弱いが,教師付きモデルに比べて属性推論攻撃に弱いことが示唆された。
この状況を改善するため,プライバシ保護型コントラスト学習機構であるTalosを提案する。
- 参考スコア（独自算出の注目度）: 4.909548818641602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data is the key factor to drive the development of machine learning (ML)
during the past decade. However, high-quality data, in particular labeled data,
is often hard and expensive to collect. To leverage large-scale unlabeled data,
self-supervised learning, represented by contrastive learning, is introduced.
The objective of contrastive learning is to map different views derived from a
training sample (e.g., through data augmentation) closer in their
representation space, while different views derived from different samples more
distant. In this way, a contrastive model learns to generate informative
representations for data samples, which are then used to perform downstream ML
tasks. Recent research has shown that machine learning models are vulnerable to
various privacy attacks. However, most of the current efforts concentrate on
models trained with supervised learning. Meanwhile, data samples' informative
representations learned with contrastive learning may cause severe privacy
risks as well.
In this paper, we perform the first privacy analysis of contrastive learning
through the lens of membership inference and attribute inference. Our
experimental results show that contrastive models are less vulnerable to
membership inference attacks but more vulnerable to attribute inference attacks
compared to supervised models. The former is due to the fact that contrastive
models are less prone to overfitting, while the latter is caused by contrastive
models' capability of representing data samples expressively. To remedy this
situation, we propose the first privacy-preserving contrastive learning
mechanism, namely Talos, relying on adversarial training. Empirical results
show that Talos can successfully mitigate attribute inference risks for
contrastive models while maintaining their membership privacy and model
utility.
- Abstract（参考訳）: データは、過去10年間に機械学習(ML)の開発を推進するための重要な要素です。
しかし、高品質なデータ、特にラベル付きデータはしばしば収集が困難で高価である。
大規模非ラベルデータを活用するために,コントラスト学習に代表される自己教師あり学習を導入する。
対照的な学習の目的は、トレーニングサンプルから得られた異なるビュー(例えば、データ拡張を通じて)を表現空間に近づけることであり、異なるビューは異なるサンプルからより遠ざかることである。
このようにして、対照的なモデルがデータサンプルの情報表現を生成することを学習し、それを下流のMLタスクの実行に使用する。
最近の研究では、機械学習モデルは様々なプライバシー攻撃に弱いことが示されている。
しかし、現在の取り組みのほとんどは教師付き学習で訓練されたモデルに集中している。
一方、データサンプルが対照的な学習で学習した情報表現は、深刻なプライバシーリスクを引き起こす可能性がある。
本稿では,メンバシップ推論と属性推論のレンズを通して,コントラスト学習の最初のプライバシー分析を行う。
実験の結果,コントラストモデルはメンバシップ推論攻撃に弱いが,教師付きモデルに比べて属性推論攻撃に弱いことが示された。
前者はコントラストモデルが過度に適合する傾向が低いことによるものであり、後者はデータサンプルを表現的に表現するコントラストモデルの能力によって引き起こされる。
そこで本研究では,対人訓練に頼った,初のプライバシー保護型コントラスト学習メカニズムであるTalosを提案する。
実験の結果,talosは,メンバシッププライバシとモデルユーティリティを維持しながら,コントラストモデルに対する属性推論のリスクを軽減できることがわかった。
関連論文リスト
- MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。
トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。
本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:05:03Z) - SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文 参考訳（メタデータ） (2023-12-08T09:08:50Z) - Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。
異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。
このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
論文 参考訳（メタデータ） (2023-03-30T17:30:42Z) - On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.63044895680223]
我々は,記憶化という新たな視点からプライバシを調査することを提案する。
記憶のレンズを通して、以前デプロイされたMIAは、より高いプライバシーリスクを持つサンプルを特定する可能性が低いため、誤解を招く結果をもたらすことがわかった。
一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。
論文 参考訳（メタデータ） (2022-08-17T13:02:17Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。
教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
論文 参考訳（メタデータ） (2021-03-02T17:47:58Z) - Understanding Robustness in Teacher-Student Setting: A New Perspective [42.746182547068265]
適応的な例は機械学習モデルで、有界な対向的摂動はモデルを誤解させ、任意に誤った予測をすることができる。
広範な研究は、逆例の存在を説明し、モデルのロバスト性を改善する方法を提供する。
我々の研究は、敵対的な事例に関する将来の探索を暗示し、原則化されたデータ拡張を通じてモデルロバスト性を高めることができる。
論文 参考訳（メタデータ） (2021-02-25T20:54:24Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳（メタデータ） (2020-09-01T12:54:54Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z) - Trade-offs between membership privacy & adversarially robust learning [13.37805637358556]
標準モデルがロバストモデルよりもはるかに過度に適合する設定を特定します。
オーバーフィッティングの度合いは、トレーニングに利用可能なデータの量に依存する。
論文 参考訳（メタデータ） (2020-06-08T14:20:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。