論文の概要: Vicious Classifiers: Data Reconstruction Attack at Inference Time
- arxiv url: http://arxiv.org/abs/2212.04223v1
- Date: Thu, 8 Dec 2022 12:05:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 16:44:07.637416
- Title: Vicious Classifiers: Data Reconstruction Attack at Inference Time
- Title(参考訳): 悪質な分類器: 推測時のデータ再構成攻撃
- Authors: Mohammad Malekzadeh and Deniz Gunduz
- Abstract要約: 本稿では,モデルの出力のみを観測することで,利用者の個人情報を復元できる「活気ある」サービスプロバイダについて述べる。
我々は、推論時間における悪意と誠実さを区別する潜在的防衛機構を提案する。
- 参考スコア(独自算出の注目度): 3.553493344868414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy-preserving inference via edge or encrypted computing paradigms
encourages users of machine learning services to confidentially run a model on
their personal data for a target task and only share the model's outputs with
the service provider; e.g., to activate further services. Nevertheless, despite
all confidentiality efforts, we show that a ''vicious'' service provider can
approximately reconstruct its users' personal data by observing only the
model's outputs, while keeping the target utility of the model very close to
that of a ''honest'' service provider. We show the possibility of jointly
training a target model (to be run at users' side) and an attack model for data
reconstruction (to be secretly used at server's side). We introduce the
''reconstruction risk'': a new measure for assessing the quality of
reconstructed data that better captures the privacy risk of such attacks.
Experimental results on 6 benchmark datasets show that for low-complexity data
types, or for tasks with larger number of classes, a user's personal data can
be approximately reconstructed from the outputs of a single target inference
task. We propose a potential defense mechanism that helps to distinguish
vicious vs. honest classifiers at inference time. We conclude this paper by
discussing current challenges and open directions for future studies. We
open-source our code and results, as a benchmark for future work.
- Abstract(参考訳): エッジあるいは暗号化されたコンピューティングパラダイムによるプライバシ保存推論は、マシンラーニングサービスのユーザに対して、ターゲットタスク用の個人データ上でモデルを秘密裏に実行し、モデルのアウトプットをサービスプロバイダとのみ共有することを奨励する。
それにもかかわらず、すべての機密性に拘わらず、サービスプロバイダは、モデルの出力のみを観察することで、ユーザの個人情報を概ね再構築できると同時に、モデルのターゲットユーティリティを 'honest' サービスプロバイダのそれと非常に近いものに保っている。
本稿では,ターゲットモデル(ユーザ側)とデータ復元のための攻撃モデル(サーバ側で秘かに使用される)を共同で訓練する可能性を示す。
我々は,このような攻撃のプライバシリスクをよりよく捉えるために,再構築データの品質を評価する新しい尺度である 'reconstruction risk' を導入する。
6つのベンチマークデータセットによる実験結果から,低複雑さなデータタイプや多数のクラスを持つタスクに対して,ユーザ個人データを1つのターゲット推論タスクのアウトプットからおよそ再構成できることが確認された。
推論時間における悪意と正直な分類器の識別を支援する防衛機構を提案する。
本稿では,今後の課題と今後の研究の方向性について論じる。
将来の作業のベンチマークとして、コードと結果をオープンソースにしています。
関連論文リスト
- Robust Federated Learning Mitigates Client-side Training Data
Distribution Inference Attacks [53.210725411547806]
InferGuardは、クライアント側のトレーニングデータ分散推論攻撃に対する防御を目的とした、新しいビザンチン・ロバスト集約ルールである。
実験の結果,我々の防衛機構はクライアント側のトレーニングデータ分布推定攻撃に対する防御に極めて有効であることが示唆された。
論文 参考訳(メタデータ) (2024-03-05T17:41:35Z) - Model Pairing Using Embedding Translation for Backdoor Attack Detection
on Open-Set Classification Tasks [51.78558228584093]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
両モデルがバックドアされている場合でも,バックドアが検出可能であることを示す。
論文 参考訳(メタデータ) (2024-02-28T21:29:16Z) - Data-Free Model Extraction Attacks in the Context of Object Detection [0.6719751155411076]
多くの機械学習モデルは、モデル抽出攻撃に対して脆弱である。
本研究では,オブジェクト検出における境界ボックス座標の予測のための回帰問題に拡張した逆ブラックボックス攻撃を提案する。
提案したモデル抽出法は,妥当なクエリを用いて有意な結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-08-09T06:23:54Z) - Dataset Inference for Self-Supervised Models [21.119579812529395]
機械学習(ML)における自己教師型モデルの普及
それらは、出力するベクトル表現の高次元性のために、モデルステルス攻撃に対して脆弱である。
我々は、被害者エンコーダモデルのプライベートトレーニングセットを使用して、盗難時にその所有権を属性とする新しいデータセット推論ディフェンスを導入する。
論文 参考訳(メタデータ) (2022-09-16T15:39:06Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - A Unified Evaluation of Textual Backdoor Learning: Frameworks and
Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。
また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文 参考訳(メタデータ) (2022-06-17T02:29:23Z) - Reconstructing Training Data with Informed Adversaries [30.138217209991826]
機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか?
本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。
この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
論文 参考訳(メタデータ) (2022-01-13T09:19:25Z) - UnSplit: Data-Oblivious Model Inversion, Model Stealing, and Label
Inference Attacks Against Split Learning [0.0]
Split Learningフレームワークは、モデルをクライアントとサーバ間で分割することを目的としている。
分割学習パラダイムは深刻なセキュリティリスクを生じさせ,セキュリティの誤った感覚以上のものを提供しないことを示す。
論文 参考訳(メタデータ) (2021-08-20T07:39:16Z) - Predicting Adversary Lateral Movement Patterns with Deep Learning [0.0]
本稿では, 企業ネットワークにおいて, 敵が次のキャンペーンで妥協する可能性のあるホストについて, 予測モデルを構築した。
我々は、ホスト、ユーザ、および敵をファーストクラスのエンティティとして、シミュレーションネットワークを使用して、このモデルのためのデータを生成する。
論文 参考訳(メタデータ) (2021-04-23T16:44:31Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳(メタデータ) (2020-10-08T16:20:48Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。