論文の概要: Towards Probabilistic Verification of Machine Unlearning
- arxiv url: http://arxiv.org/abs/2003.04247v2
- Date: Tue, 1 Dec 2020 16:01:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 08:35:01.335500
- Title: Towards Probabilistic Verification of Machine Unlearning
- Title(参考訳): 機械学習の確率的検証に向けて
- Authors: David Marco Sommer, Liwei Song, Sameer Wagh, Prateek Mittal
- Abstract要約: 本稿では,データ削除要求に対する検証機構の設計について研究する形式的枠組みを提案する。
提案手法は,機械学習サービスの精度に最小限の影響を与えるが,未学習に対する信頼性の高い検証を可能にする。
- 参考スコア(独自算出の注目度): 30.892906429582904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The right to be forgotten, also known as the right to erasure, is the right
of individuals to have their data erased from an entity storing it. The status
of this long held notion was legally solidified recently by the General Data
Protection Regulation (GDPR) in the European Union. Consequently, there is a
need for mechanisms whereby users can verify if service providers comply with
their deletion requests. In this work, we take the first step in proposing a
formal framework to study the design of such verification mechanisms for data
deletion requests -- also known as machine unlearning -- in the context of
systems that provide machine learning as a service (MLaaS). Our framework
allows the rigorous quantification of any verification mechanism based on
standard hypothesis testing. Furthermore, we propose a novel backdoor-based
verification mechanism and demonstrate its effectiveness in certifying data
deletion with high confidence, thus providing a basis for quantitatively
inferring machine unlearning.
We evaluate our approach over a range of network architectures such as
multi-layer perceptrons (MLP), convolutional neural networks (CNN), residual
networks (ResNet), and long short-term memory (LSTM), as well as over 5
different datasets. We demonstrate that our approach has minimal effect on the
ML service's accuracy but provides high confidence verification of unlearning.
Our proposed mechanism works even if only a handful of users employ our system
to ascertain compliance with data deletion requests. In particular, with just
5% of users participating, modifying half their data with a backdoor, and with
merely 30 test queries, our verification mechanism has both false positive and
false negative ratios below $10^{-3}$. We also show the effectiveness of our
approach by testing it against an adaptive adversary that uses a
state-of-the-art backdoor defense method.
- Abstract(参考訳): 忘れられる権利は、消去する権利(the right to erasure)としても知られ、個人がそれを保存しているエンティティからデータを消去する権利である。
この長期にわたる概念の地位は、欧州連合の一般データ保護規則(gdpr)によって、最近法的に固められた。
そのため、サービスプロバイダが削除要求を遵守するかどうかをユーザが確認できるメカニズムが必要である。
本研究では、機械学習・アズ・ア・サービス(mlaas)を提供するシステムのコンテキストにおいて、データ削除要求(機械学習としても知られる)に対する検証メカニズムの設計を研究するための形式的フレームワークを提案する。
標準仮説検証に基づく検証機構の厳密な定量化を可能にする。
さらに,新しいバックドアベースの検証機構を提案し,信頼性の高いデータ削除の有効性を実証し,機械学習を定量的に推定するための基礎を提供する。
我々は、多層パーセプトロン(mlp)、畳み込みニューラルネットワーク(cnn)、残留ネットワーク(resnet)、long short-term memory(lstm)、および5つの異なるデータセットなど、様々なネットワークアーキテクチャ上のアプローチを評価した。
提案手法は,MLサービスの精度に最小限の影響を与えるが,未学習に対する信頼性の高い検証を可能にする。
提案するメカニズムは,データ削除要求の遵守を確認するために,少数のユーザがシステムを使用している場合にのみ動作する。
特に、5%のユーザーが参加し、半数のデータをバックドアで変更し、30のクエリーしかテストしていないため、認証メカニズムは偽陽性と偽陰性の両方が10^{-3}$以下である。
また,最先端のバックドア防御手法を用いた適応的敵に対して,本手法の有効性を示す。
関連論文リスト
- Enhancing Security in Federated Learning through Adaptive
Consensus-Based Model Update Validation [2.28438857884398]
本稿では,ラベルフリップ攻撃に対して,FL(Federated Learning)システムを構築するための高度なアプローチを提案する。
本稿では,適応的しきい値設定機構と統合されたコンセンサスに基づく検証プロセスを提案する。
以上の結果から,FLシステムのレジリエンスを高め,ラベルフリップ攻撃の顕著な緩和効果が示唆された。
論文 参考訳(メタデータ) (2024-03-05T20:54:56Z) - Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-29T07:04:48Z) - Privacy Preserving Machine Learning for Behavioral Authentication
Systems [0.0]
行動認証(BA)システムは、ユーザの行動特性を使用して、アイデンティティークレームの検証を行う。
他のニューラルネットワーク(NN)アーキテクチャと同様に、BAシステムのNN分類器は、プライバシ攻撃に対して脆弱である。
我々は、MLベースのプライバシ攻撃を導入し、提案システムは、これや他のプライバシおよびセキュリティ攻撃に対して堅牢である。
論文 参考訳(メタデータ) (2023-08-31T19:15:26Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - A Generative Framework for Low-Cost Result Validation of Outsourced
Machine Learning Tasks [4.892092538693841]
我々は、アウトソースされた機械学習ワークロードのリアルタイム検証のための新しいフレームワークであるFidesを提案する。
Fidesは、統計的分析とばらつき測定を使用して、サービスモデルが攻撃を受けている場合、高い確率で識別するクライアント側攻撃検出モデルを備えている。
攻撃検出と再分類モデルの訓練のための生成的逆ネットワークフレームワークを考案した。
論文 参考訳(メタデータ) (2023-03-31T19:17:30Z) - Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。
提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
論文 参考訳(メタデータ) (2023-01-17T01:46:45Z) - Verifiable and Provably Secure Machine Unlearning [37.353982787321385]
機械学習は、トレーニング後の機械学習モデルのトレーニングデータセットからポイントを取り除くことを目的としている。
本稿では,機械のアンラーニングシステムの保証を捉えるための,検証可能なアンラーニングの最初の暗号的定義を示す。
我々は、線形回帰、ロジスティック回帰、ニューラルネットワークの実現可能性を検証するために、3つの異なるアンラーニング手法のプロトコルを実装した。
論文 参考訳(メタデータ) (2022-10-17T14:19:52Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Privacy-preserving machine learning with tensor networks [50.591267188664666]
テンソルネットワークアーキテクチャは、特にプライバシー保護機械学習に期待できる特性を持つことを示す。
まず、フィードフォワードニューラルネットワークに存在する新たなプライバシ脆弱性を説明し、それを合成および実世界のデータセットで説明する。
このような条件がテンソルネットワークアーキテクチャによって満たされていることを厳密に証明する。
論文 参考訳(メタデータ) (2022-02-24T19:04:35Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - Identity-Aware Attribute Recognition via Real-Time Distributed Inference
in Mobile Edge Clouds [53.07042574352251]
我々は、MEC対応カメラ監視システムにおいて、re-IDを用いた歩行者属性認識のための新しいモデルの設計を行う。
本稿では,属性認識と人物再IDを協調的に考慮し,分散モジュールの集合を持つ新しい推論フレームワークを提案する。
そこで我々は,提案した分散推論フレームワークのモジュール分布の学習に基づくアルゴリズムを考案した。
論文 参考訳(メタデータ) (2020-08-12T12:03:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。