論文の概要: A Comprehensive Study of Privacy Risks in Curriculum Learning

• arxiv url: http://arxiv.org/abs/2310.10124v1
• Date: Mon, 16 Oct 2023 07:06:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 01:35:42.109784
• Title: A Comprehensive Study of Privacy Risks in Curriculum Learning
• Title（参考訳）: カリキュラム学習におけるプライバシーリスクに関する総合的研究
• Authors: Joann Qiongna Chen, Xinlei He, Zheng Li, Yang Zhang, Zhou Li
• Abstract要約: 有意義な順序でデータで機械学習モデルをトレーニングすることは、トレーニングプロセスの加速に有効であることが証明されている。 重要な実現技術はカリキュラム学習(CL)であり、大きな成功を収め、画像やテキストの分類などの分野に展開されてきた。 しかし、CLが機械学習のプライバシーにどのように影響するかは不明だ。
• 参考スコア（独自算出の注目度）: 25.57099711643689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training a machine learning model with data following a meaningful order, i.e., from easy to hard, has been proven to be effective in accelerating the training process and achieving better model performance. The key enabling technique is curriculum learning (CL), which has seen great success and has been deployed in areas like image and text classification. Yet, how CL affects the privacy of machine learning is unclear. Given that CL changes the way a model memorizes the training data, its influence on data privacy needs to be thoroughly evaluated. To fill this knowledge gap, we perform the first study and leverage membership inference attack (MIA) and attribute inference attack (AIA) as two vectors to quantify the privacy leakage caused by CL. Our evaluation of nine real-world datasets with attack methods (NN-based, metric-based, label-only MIA, and NN-based AIA) revealed new insights about CL. First, MIA becomes slightly more effective when CL is applied, but the impact is much more prominent to a subset of training samples ranked as difficult. Second, a model trained under CL is less vulnerable under AIA, compared to MIA. Third, the existing defense techniques like DP-SGD, MemGuard, and MixupMMD are still effective under CL, though DP-SGD has a significant impact on target model accuracy. Finally, based on our insights into CL, we propose a new MIA, termed Diff-Cali, which exploits the difficulty scores for result calibration and is demonstrated to be effective against all CL methods and the normal training method. With this study, we hope to draw the community's attention to the unintended privacy risks of emerging machine-learning techniques and develop new attack benchmarks and defense solutions.
• Abstract（参考訳）: 機械学習モデルを有意義な順序、すなわち簡単から難しい順にトレーニングすることは、トレーニングプロセスを加速し、よりよいモデルパフォーマンスを達成する上で有効であることが証明されている。 重要な実現技術はカリキュラム学習(cl)であり、大きな成功を収め、画像やテキストの分類といった領域に展開されている。 しかし、clが機械学習のプライバシーにどう影響するかは不明だ。 CLはトレーニングデータを記憶する方法を変えるため、データのプライバシへの影響を徹底的に評価する必要がある。 この知識ギャップを埋めるために,最初の研究を行い,メンバシップ推論攻撃(mia)と属性推論攻撃(aia)を2つのベクトルとして活用し,clによるプライバシリークを定量化する。 攻撃手法(NNベース,メートル法,ラベルのみMIA,NNベースAIA)を用いた実世界の9つのデータセットの評価を行ったところ,CLに関する新たな知見が得られた。 第一に、CLを適用するとMIAは少し効果が増すが、その影響はトレーニングサンプルのサブセットよりもはるかに顕著である。 第2に、CLの下でトレーニングされたモデルは、MIAに比べてAIA下での脆弱性が低い。 第3に、DP-SGD、MemGuard、MixupMMDといった既存の防衛技術は、まだCLの下では有効であるが、DP-SGDはターゲットモデルの精度に大きな影響を与える。 最後に,clに関する知見に基づいて,難易度スコアを生かして結果校正を行う新しいmiaを提案する。 本研究では,新たな機械学習技術の意図しないプライバシーリスクにコミュニティの注意を向け,新たな攻撃ベンチマークや防御ソリューションの開発を期待する。

関連論文リスト

• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Evaluating Membership Inference Attacks and Defenses in Federated Learning [23.080346952364884]
  会員推論攻撃(MIA)は、連合学習におけるプライバシー保護への脅威を増大させる。 本稿では,既存のMIAと対応する防衛戦略の評価を行う。
  論文  参考訳（メタデータ） (2024-02-09T09:58:35Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• Learning-Based Difficulty Calibration for Enhanced Membership Inference Attacks [3.470379197911889]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがモデルのトレーニングデータセットの一部であるかどうかを敵が判断することを可能にする。 低偽陽性率(FPR)におけるTPRの大幅な改善を目的としたMIAの新しいアプローチを提案する。 実験の結果,LCD-MIAは,他の困難キャリブレーションに基づくMIAと比較して,低FPRでのTPRを最大4倍改善できることがわかった。
  論文  参考訳（メタデータ） (2024-01-10T04:58:17Z)
• MIA-BAD: An Approach for Enhancing Membership Inference Attack and its Mitigation with Federated Learning [6.510488168434277]
  メンバシップ推論攻撃(MIA)は、機械学習(ML)モデルのプライバシを妥協するための一般的なパラダイムである。 バッチ・ワイズ・アサート・データセット(MIA-BAD)を用いた強化されたメンバーシップ推論攻撃を提案する。 FLを用いたMLモデルのトレーニング方法を示すとともに,提案したMIA-BADアプローチによる脅威をFLアプローチで緩和する方法について検討する。
  論文  参考訳（メタデータ） (2023-11-28T06:51:26Z)
• Adversarial Training with Complementary Labels: On the Benefit of Gradually Informative Attacks [119.38992029332883]
  不完全な監督を伴う敵の訓練は重要であるが、注意は限られている。 我々は、徐々に情報的攻撃を用いた新しい学習戦略を提案する。 提案手法の有効性を,ベンチマークデータセットを用いて実証する実験を行った。
  論文  参考訳（メタデータ） (2022-11-01T04:26:45Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Curriculum Learning for Safe Mapless Navigation [71.55718344087657]
  本研究は,カリキュラム学習(CL)に基づくアプローチがエージェントのパフォーマンスに与える影響について検討する。 特に、ロボットマップレスナビゲーションの安全性に焦点をあて、標準的なエンドツーエンド(E2E)トレーニング戦略と比較する。
  論文  参考訳（メタデータ） (2021-12-23T12:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。