論文の概要: Vicious Classifiers: Data Reconstruction Attack at Inference Time
- arxiv url: http://arxiv.org/abs/2212.04223v2
- Date: Tue, 5 Dec 2023 20:30:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 19:40:00.780043
- Title: Vicious Classifiers: Data Reconstruction Attack at Inference Time
- Title(参考訳): 悪質な分類器: 推測時のデータ再構成攻撃
- Authors: Mohammad Malekzadeh and Deniz Gunduz
- Abstract要約: 本研究では,モデル出力のみを観測することで,悪質なサーバが入力データを再構成する方法について検討する。
本稿では,推論時間における悪質と正直な分類器の識別を支援する防衛機構を提案する。
- 参考スコア(独自算出の注目度): 2.674185042694342
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Privacy-preserving inference in edge computing paradigms encourages the users
of machine-learning services to locally run a model on their private input, for
a target task, and only share the model's outputs with the server. We study how
a vicious server can reconstruct the input data by observing only the model's
outputs, while keeping the target accuracy very close to that of a honest
server: by jointly training a target model (to run at users' side) and an
attack model for data reconstruction (to secretly use at server's side). We
present a new measure to assess the reconstruction risk in edge inference. Our
evaluations on six benchmark datasets demonstrate that the model's input can be
approximately reconstructed from the outputs of a single target inference. We
propose a potential defense mechanism that helps to distinguish vicious versus
honest classifiers at inference time. We discuss open challenges and directions
for future studies and release our code as a benchmark for future work.
- Abstract(参考訳): エッジコンピューティングパラダイムにおけるプライバシ保存推論は、マシンラーニングサービスのユーザに対して、ターゲットタスクのために、プライベート入力でモデルをローカルに実行し、モデルの出力をサーバとのみ共有するように促す。
本研究では,ターゲットモデル(ユーザ側で動作させる)と攻撃モデル(サーバ側でシークレットに使用する)を共同でトレーニングすることで,モデル出力のみを観察しながら,目標精度を正直なサーバと非常に近いものに保ちながら,悪意のあるサーバが入力データを再構築する方法を検討する。
エッジ推論における再建リスクを評価するための新しい尺度を提案する。
6つのベンチマークデータセットによる評価結果から,1つのターゲット推定の出力からモデルの入力をおよそ再構成できることが示唆された。
本稿では,推論時間における悪質と正直な分類器の識別を支援する防衛機構を提案する。
今後の研究のためのオープンな課題と方向性を議論し、将来の作業のためのベンチマークとしてコードをリリースします。
関連論文リスト
- Robust Federated Learning Mitigates Client-side Training Data
Distribution Inference Attacks [53.210725411547806]
InferGuardは、クライアント側のトレーニングデータ分散推論攻撃に対する防御を目的とした、新しいビザンチン・ロバスト集約ルールである。
実験の結果,我々の防衛機構はクライアント側のトレーニングデータ分布推定攻撃に対する防御に極めて有効であることが示唆された。
論文 参考訳(メタデータ) (2024-03-05T17:41:35Z) - Model Pairing Using Embedding Translation for Backdoor Attack Detection
on Open-Set Classification Tasks [51.78558228584093]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
両モデルがバックドアされている場合でも,バックドアが検出可能であることを示す。
論文 参考訳(メタデータ) (2024-02-28T21:29:16Z) - Data-Free Model Extraction Attacks in the Context of Object Detection [0.6719751155411076]
多くの機械学習モデルは、モデル抽出攻撃に対して脆弱である。
本研究では,オブジェクト検出における境界ボックス座標の予測のための回帰問題に拡張した逆ブラックボックス攻撃を提案する。
提案したモデル抽出法は,妥当なクエリを用いて有意な結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-08-09T06:23:54Z) - Dataset Inference for Self-Supervised Models [21.119579812529395]
機械学習(ML)における自己教師型モデルの普及
それらは、出力するベクトル表現の高次元性のために、モデルステルス攻撃に対して脆弱である。
我々は、被害者エンコーダモデルのプライベートトレーニングセットを使用して、盗難時にその所有権を属性とする新しいデータセット推論ディフェンスを導入する。
論文 参考訳(メタデータ) (2022-09-16T15:39:06Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - A Unified Evaluation of Textual Backdoor Learning: Frameworks and
Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。
また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文 参考訳(メタデータ) (2022-06-17T02:29:23Z) - Reconstructing Training Data with Informed Adversaries [30.138217209991826]
機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか?
本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。
この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
論文 参考訳(メタデータ) (2022-01-13T09:19:25Z) - UnSplit: Data-Oblivious Model Inversion, Model Stealing, and Label
Inference Attacks Against Split Learning [0.0]
Split Learningフレームワークは、モデルをクライアントとサーバ間で分割することを目的としている。
分割学習パラダイムは深刻なセキュリティリスクを生じさせ,セキュリティの誤った感覚以上のものを提供しないことを示す。
論文 参考訳(メタデータ) (2021-08-20T07:39:16Z) - Predicting Adversary Lateral Movement Patterns with Deep Learning [0.0]
本稿では, 企業ネットワークにおいて, 敵が次のキャンペーンで妥協する可能性のあるホストについて, 予測モデルを構築した。
我々は、ホスト、ユーザ、および敵をファーストクラスのエンティティとして、シミュレーションネットワークを使用して、このモデルのためのデータを生成する。
論文 参考訳(メタデータ) (2021-04-23T16:44:31Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳(メタデータ) (2020-10-08T16:20:48Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。