論文の概要: A Comprehensive Study of Privacy Risks in Curriculum Learning
- arxiv url: http://arxiv.org/abs/2310.10124v1
- Date: Mon, 16 Oct 2023 07:06:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 01:35:42.109784
- Title: A Comprehensive Study of Privacy Risks in Curriculum Learning
- Title(参考訳): カリキュラム学習におけるプライバシーリスクに関する総合的研究
- Authors: Joann Qiongna Chen, Xinlei He, Zheng Li, Yang Zhang, Zhou Li
- Abstract要約: 有意義な順序でデータで機械学習モデルをトレーニングすることは、トレーニングプロセスの加速に有効であることが証明されている。
重要な実現技術はカリキュラム学習(CL)であり、大きな成功を収め、画像やテキストの分類などの分野に展開されてきた。
しかし、CLが機械学習のプライバシーにどのように影響するかは不明だ。
- 参考スコア(独自算出の注目度): 25.57099711643689
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training a machine learning model with data following a meaningful order,
i.e., from easy to hard, has been proven to be effective in accelerating the
training process and achieving better model performance. The key enabling
technique is curriculum learning (CL), which has seen great success and has
been deployed in areas like image and text classification. Yet, how CL affects
the privacy of machine learning is unclear. Given that CL changes the way a
model memorizes the training data, its influence on data privacy needs to be
thoroughly evaluated. To fill this knowledge gap, we perform the first study
and leverage membership inference attack (MIA) and attribute inference attack
(AIA) as two vectors to quantify the privacy leakage caused by CL.
Our evaluation of nine real-world datasets with attack methods (NN-based,
metric-based, label-only MIA, and NN-based AIA) revealed new insights about CL.
First, MIA becomes slightly more effective when CL is applied, but the impact
is much more prominent to a subset of training samples ranked as difficult.
Second, a model trained under CL is less vulnerable under AIA, compared to MIA.
Third, the existing defense techniques like DP-SGD, MemGuard, and MixupMMD are
still effective under CL, though DP-SGD has a significant impact on target
model accuracy. Finally, based on our insights into CL, we propose a new MIA,
termed Diff-Cali, which exploits the difficulty scores for result calibration
and is demonstrated to be effective against all CL methods and the normal
training method. With this study, we hope to draw the community's attention to
the unintended privacy risks of emerging machine-learning techniques and
develop new attack benchmarks and defense solutions.
- Abstract(参考訳): 機械学習モデルを有意義な順序、すなわち簡単から難しい順にトレーニングすることは、トレーニングプロセスを加速し、よりよいモデルパフォーマンスを達成する上で有効であることが証明されている。
重要な実現技術はカリキュラム学習(cl)であり、大きな成功を収め、画像やテキストの分類といった領域に展開されている。
しかし、clが機械学習のプライバシーにどう影響するかは不明だ。
CLはトレーニングデータを記憶する方法を変えるため、データのプライバシへの影響を徹底的に評価する必要がある。
この知識ギャップを埋めるために,最初の研究を行い,メンバシップ推論攻撃(mia)と属性推論攻撃(aia)を2つのベクトルとして活用し,clによるプライバシリークを定量化する。
攻撃手法(NNベース,メートル法,ラベルのみMIA,NNベースAIA)を用いた実世界の9つのデータセットの評価を行ったところ,CLに関する新たな知見が得られた。
第一に、CLを適用するとMIAは少し効果が増すが、その影響はトレーニングサンプルのサブセットよりもはるかに顕著である。
第2に、CLの下でトレーニングされたモデルは、MIAに比べてAIA下での脆弱性が低い。
第3に、DP-SGD、MemGuard、MixupMMDといった既存の防衛技術は、まだCLの下では有効であるが、DP-SGDはターゲットモデルの精度に大きな影響を与える。
最後に,clに関する知見に基づいて,難易度スコアを生かして結果校正を行う新しいmiaを提案する。
本研究では,新たな機械学習技術の意図しないプライバシーリスクにコミュニティの注意を向け,新たな攻撃ベンチマークや防御ソリューションの開発を期待する。
関連論文リスト
- Evaluating Membership Inference Attacks and Defenses in Federated
Learning [23.080346952364884]
会員推論攻撃(MIA)は、連合学習におけるプライバシー保護への脅威を増大させる。
本稿では,既存のMIAと対応する防衛戦略の評価を行う。
論文 参考訳(メタデータ) (2024-02-09T09:58:35Z) - Learning-Based Difficulty Calibration for Enhanced Membership Inference
Attacks [3.90035843485139]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがモデルのトレーニングデータセットの一部であるかどうかを敵が判断することを可能にする。
低偽陽性率(FPR)におけるTPRの大幅な改善を目的としたMIAの新しいアプローチを提案する。
実験の結果,LCD-MIAは,他の困難キャリブレーションに基づくMIAと比較して,低FPRでのTPRを最大4倍改善できることがわかった。
論文 参考訳(メタデータ) (2024-01-10T04:58:17Z) - MIA-BAD: An Approach for Enhancing Membership Inference Attack and its
Mitigation with Federated Learning [6.510488168434277]
メンバシップ推論攻撃(MIA)は、機械学習(ML)モデルのプライバシを妥協するための一般的なパラダイムである。
バッチ・ワイズ・アサート・データセット(MIA-BAD)を用いた強化されたメンバーシップ推論攻撃を提案する。
FLを用いたMLモデルのトレーニング方法を示すとともに,提案したMIA-BADアプローチによる脅威をFLアプローチで緩和する方法について検討する。
論文 参考訳(メタデータ) (2023-11-28T06:51:26Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳(メタデータ) (2023-09-14T03:48:27Z) - Enhancing Accuracy and Robustness through Adversarial Training in Class
Incremental Continual Learning [0.34265828682659694]
ディープラーニングモデルに対する敵対的攻撃は致命的なセキュリティ問題である。
CICLは敵攻撃に対する防御法としてよく知られている。
本稿では,経験リプレイを用いた手法に適用可能な外部支援訓練(EAT)を提案する。
論文 参考訳(メタデータ) (2023-05-23T04:37:18Z) - Adversarial Training with Complementary Labels: On the Benefit of
Gradually Informative Attacks [119.38992029332883]
不完全な監督を伴う敵の訓練は重要であるが、注意は限られている。
我々は、徐々に情報的攻撃を用いた新しい学習戦略を提案する。
提案手法の有効性を,ベンチマークデータセットを用いて実証する実験を行った。
論文 参考訳(メタデータ) (2022-11-01T04:26:45Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳(メタデータ) (2022-06-02T19:05:13Z) - Curriculum Learning for Safe Mapless Navigation [71.55718344087657]
本研究は,カリキュラム学習(CL)に基づくアプローチがエージェントのパフォーマンスに与える影響について検討する。
特に、ロボットマップレスナビゲーションの安全性に焦点をあて、標準的なエンドツーエンド(E2E)トレーニング戦略と比較する。
論文 参考訳(メタデータ) (2021-12-23T12:30:36Z) - How Does Data Augmentation Affect Privacy in Machine Learning? [94.52721115660626]
拡張データの情報を活用するために,新たなMI攻撃を提案する。
モデルが拡張データで訓練された場合、最適な会員推定値を確立する。
論文 参考訳(メタデータ) (2020-07-21T02:21:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。