論文の概要: Vicious Classifiers: Data Reconstruction Attack at Inference Time
- arxiv url: http://arxiv.org/abs/2212.04223v1
- Date: Thu, 8 Dec 2022 12:05:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 16:44:07.637416
- Title: Vicious Classifiers: Data Reconstruction Attack at Inference Time
- Title（参考訳）: 悪質な分類器: 推測時のデータ再構成攻撃
- Authors: Mohammad Malekzadeh and Deniz Gunduz
- Abstract要約: 本稿では,モデルの出力のみを観測することで,利用者の個人情報を復元できる「活気ある」サービスプロバイダについて述べる。
我々は、推論時間における悪意と誠実さを区別する潜在的防衛機構を提案する。
- 参考スコア（独自算出の注目度）: 3.553493344868414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy-preserving inference via edge or encrypted computing paradigms
encourages users of machine learning services to confidentially run a model on
their personal data for a target task and only share the model's outputs with
the service provider; e.g., to activate further services. Nevertheless, despite
all confidentiality efforts, we show that a ''vicious'' service provider can
approximately reconstruct its users' personal data by observing only the
model's outputs, while keeping the target utility of the model very close to
that of a ''honest'' service provider. We show the possibility of jointly
training a target model (to be run at users' side) and an attack model for data
reconstruction (to be secretly used at server's side). We introduce the
''reconstruction risk'': a new measure for assessing the quality of
reconstructed data that better captures the privacy risk of such attacks.
Experimental results on 6 benchmark datasets show that for low-complexity data
types, or for tasks with larger number of classes, a user's personal data can
be approximately reconstructed from the outputs of a single target inference
task. We propose a potential defense mechanism that helps to distinguish
vicious vs. honest classifiers at inference time. We conclude this paper by
discussing current challenges and open directions for future studies. We
open-source our code and results, as a benchmark for future work.
- Abstract（参考訳）: エッジあるいは暗号化されたコンピューティングパラダイムによるプライバシ保存推論は、マシンラーニングサービスのユーザに対して、ターゲットタスク用の個人データ上でモデルを秘密裏に実行し、モデルのアウトプットをサービスプロバイダとのみ共有することを奨励する。
それにもかかわらず、すべての機密性に拘わらず、サービスプロバイダは、モデルの出力のみを観察することで、ユーザの個人情報を概ね再構築できると同時に、モデルのターゲットユーティリティを 'honest' サービスプロバイダのそれと非常に近いものに保っている。
本稿では,ターゲットモデル(ユーザ側)とデータ復元のための攻撃モデル(サーバ側で秘かに使用される)を共同で訓練する可能性を示す。
我々は,このような攻撃のプライバシリスクをよりよく捉えるために,再構築データの品質を評価する新しい尺度である 'reconstruction risk' を導入する。
6つのベンチマークデータセットによる実験結果から,低複雑さなデータタイプや多数のクラスを持つタスクに対して,ユーザ個人データを1つのターゲット推論タスクのアウトプットからおよそ再構成できることが確認された。
推論時間における悪意と正直な分類器の識別を支援する防衛機構を提案する。
本稿では,今後の課題と今後の研究の方向性について論じる。
将来の作業のベンチマークとして、コードと結果をオープンソースにしています。
関連論文リスト
- Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。
従来の偽造検出手法は、データを直接集中的に訓練する。
本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
論文 参考訳（メタデータ） (2024-06-17T02:20:30Z) - MisGUIDE : Defense Against Data-Free Deep Learning Model Extraction [0.8437187555622164]
MisGUIDE(ミスGUIDE)は、ディープラーニングモデルのための2段階の防御フレームワークである。
提案手法の目的は,真正クエリの精度を維持しつつ,クローンモデルの精度を下げることである。
論文 参考訳（メタデータ） (2024-03-27T13:59:21Z) - Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。
この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
論文 参考訳（メタデータ） (2024-02-28T21:29:16Z) - Data-Free Model Extraction Attacks in the Context of Object Detection [0.6719751155411076]
多くの機械学習モデルは、モデル抽出攻撃に対して脆弱である。
本研究では,オブジェクト検出における境界ボックス座標の予測のための回帰問題に拡張した逆ブラックボックス攻撃を提案する。
提案したモデル抽出法は,妥当なクエリを用いて有意な結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-08-09T06:23:54Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳（メタデータ） (2023-03-07T14:11:01Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳（メタデータ） (2022-07-12T19:34:47Z) - Reconstructing Training Data with Informed Adversaries [30.138217209991826]
機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか?
本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。
この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
論文 参考訳（メタデータ） (2022-01-13T09:19:25Z) - UnSplit: Data-Oblivious Model Inversion, Model Stealing, and Label
Inference Attacks Against Split Learning [0.0]
Split Learningフレームワークは、モデルをクライアントとサーバ間で分割することを目的としている。
分割学習パラダイムは深刻なセキュリティリスクを生じさせ,セキュリティの誤った感覚以上のものを提供しないことを示す。
論文 参考訳（メタデータ） (2021-08-20T07:39:16Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳（メタデータ） (2020-10-08T16:20:48Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳（メタデータ） (2020-09-01T12:54:54Z) - Systematic Evaluation of Privacy Risks of Machine Learning Models [41.017707772150835]
メンバーシップ推論攻撃に対する事前の取り組みは、プライバシーリスクを著しく過小評価する可能性があることを示す。
まず、既存の非ニューラルネットワークベースの推論攻撃を改善することで、メンバーシップ推論のプライバシリスクをベンチマークする。
次に、プライバシリスクスコアと呼ばれる新しい指標を定式化し、導出することで、詳細なプライバシ分析のための新しいアプローチを導入する。
論文 参考訳（メタデータ） (2020-03-24T00:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。