論文の概要: Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning
- arxiv url: http://arxiv.org/abs/2407.00866v2
- Date: Fri, 5 Jul 2024 18:01:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 00:40:30.983509
- Title: Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning
- Title（参考訳）: 影の中のシルバーライニング:機械学習におけるメンバーシップ推論を損なう
- Authors: Nexhi Sula, Abhinav Kumar, Jie Hou, Han Wang, Reza Tourani,
- Abstract要約: ニューラルネットワークから特定のデータサンプルの影響を除去する新しい学習機構を提案する。
この目的を達成するために、我々は、ターゲットモデルの重みやアクティベーション値からプライバシーに敏感な情報を排除するための、新しい損失関数を構築した。
本研究の結果は,未学習の有効性とレイテンシ,および主課題の忠実度の観点から,我々のアプローチの優れた性能を示すものである。
- 参考スコア（独自算出の注目度）: 7.557226714828334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the continued advancement and widespread adoption of machine learning (ML) models across various domains, ensuring user privacy and data security has become a paramount concern. In compliance with data privacy regulations, such as GDPR, a secure machine learning framework should not only grant users the right to request the removal of their contributed data used for model training but also facilitates the elimination of sensitive data fingerprints within machine learning models to mitigate potential attack - a process referred to as machine unlearning. In this study, we present a novel unlearning mechanism designed to effectively remove the impact of specific data samples from a neural network while considering the performance of the unlearned model on the primary task. In achieving this goal, we crafted a novel loss function tailored to eliminate privacy-sensitive information from weights and activation values of the target model by combining target classification loss and membership inference loss. Our adaptable framework can easily incorporate various privacy leakage approximation mechanisms to guide the unlearning process. We provide empirical evidence of the effectiveness of our unlearning approach with a theoretical upper-bound analysis through a membership inference mechanism as a proof of concept. Our results showcase the superior performance of our approach in terms of unlearning efficacy and latency as well as the fidelity of the primary task, across four datasets and four deep learning architectures.
- Abstract（参考訳）: 機械学習(ML)モデルの進歩と、さまざまな領域で広く採用されているため、ユーザのプライバシとデータセキュリティが最重要課題となっている。
GDPRのようなデータプライバシ規制に従えば、セキュアな機械学習フレームワークは、モデルトレーニングに使用するコントリビューションデータの削除を要求する権利をユーザに与えるだけでなく、マシンラーニングモデル内の機密データ指紋の除去を促進して、潜在的な攻撃を緩和する — マシンラーニングと呼ばれるプロセスだ。
本研究では、ニューラルネットワークから特定のデータサンプルの影響を効果的に除去し、未学習モデルの性能を第一課題に配慮した新しい学習メカニズムを提案する。
この目的を達成するために、ターゲット分類損失とメンバーシップ推論損失を組み合わせることで、ターゲットモデルの重みとアクティベーション値からプライバシーに敏感な情報を排除できる新しい損失関数を構築した。
適応可能なフレームワークは、さまざまなプライバシー漏洩近似機構を組み込んで、未学習プロセスを導出することができる。
本研究では,概念実証として会員推論機構を用いた理論上界解析を用いて,未学習アプローチの有効性の実証的証拠を提供する。
本研究の結果は,4つのデータセットと4つのディープラーニングアーキテクチャにまたがって,未学習の有効性とレイテンシ,およびメインタスクの忠実度の観点から,我々のアプローチの優れたパフォーマンスを示すものである。
関連論文リスト
- Game-Theoretic Machine Unlearning: Mitigating Extra Privacy Leakage [12.737028324709609]
最近の法律では、要求されたデータとその影響を訓練されたモデルから取り除くことが義務付けられている。
本研究では,非学習性能とプライバシ保護の競合関係をシミュレートするゲーム理論マシンアンラーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-06T13:47:04Z) - Zero-shot Class Unlearning via Layer-wise Relevance Analysis and Neuronal Path Perturbation [11.174705227990241]
機械学習は、大規模な再トレーニングを必要とせずに、トレーニングされたモデルから特定のデータの影響を取り除くテクニックである。
本稿では,階層的関連分析と神経経路摂動を用いた機械学習の新しい手法を提案する。
本手法は,高関連ニューロンを同定・摂動することで,機械学習性能とモデルの有用性のバランスをとる。
論文 参考訳（メタデータ） (2024-10-31T07:37:04Z) - Verification of Machine Unlearning is Fragile [48.71651033308842]
両タイプの検証戦略を回避できる2つの新しい非学習プロセスを導入する。
この研究は、機械学習検証の脆弱性と限界を強調し、機械学習の安全性に関するさらなる研究の道を開く。
論文 参考訳（メタデータ） (2024-08-01T21:37:10Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。
知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。
また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Learn What You Want to Unlearn: Unlearning Inversion Attacks against Machine Unlearning [16.809644622465086]
我々は、機械学習が未学習データの機密内容を漏洩させる範囲を理解するために、最初の調査を行う。
機械学習・アズ・ア・サービス・セッティングの下で、未学習サンプルの特徴とラベル情報を明らかにするアンラーニング・インバージョン・アタックを提案する。
実験結果から,提案攻撃は未学習データのセンシティブな情報を明らかにすることができることが示された。
論文 参考訳（メタデータ） (2024-04-04T06:37:46Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳（メタデータ） (2024-03-23T09:26:15Z) - Dataset Condensation Driven Machine Unlearning [0.0]
データ規制要件とプライバシ保護機械学習の現在のトレンドは、機械学習の重要性を強調している。
我々は,機械学習のプライバシ,ユーティリティ,効率のバランスをとるために,新しいデータセット凝縮手法と革新的なアンラーニング手法を提案する。
本稿では,機械のアンラーニングを計測するための新しい効果的なアプローチを提案し,その適用方法として,メンバシップ推論とモデル逆転攻撃の防御を提案する。
論文 参考訳（メタデータ） (2024-01-31T21:48:25Z) - Machine unlearning through fine-grained model parameters perturbation [26.653596302257057]
そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。
また,機械学習の有効性を評価する上での課題にも取り組む。
論文 参考訳（メタデータ） (2024-01-09T07:14:45Z) - Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of
Foundation Models [103.71308117592963]
本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。
小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
論文 参考訳（メタデータ） (2022-11-27T21:43:45Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳（メタデータ） (2022-07-12T19:34:47Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T08:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。