論文の概要: Stateful Detection of Model Extraction Attacks
- arxiv url: http://arxiv.org/abs/2107.05166v1
- Date: Mon, 12 Jul 2021 02:18:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-13 16:23:06.333958
- Title: Stateful Detection of Model Extraction Attacks
- Title(参考訳): モデル抽出攻撃のステートフル検出
- Authors: Soham Pal, Yash Gupta, Aditya Kanade, Shirish Shevade
- Abstract要約: 本稿では,サービスのユーザが生成したクエリの分布を追跡し,モデル抽出攻撃を検出する,ステートフルなモニタであるVarDetectを提案する。
VarDetectは、3種類の攻撃者サンプルを良質なサンプルからしっかりと分離し、それぞれにアラームを発生させることに成功した。
本稿では,VarDetectのデプロイに関する事前知識を持つアダプティブアタッカーも検出できることを実証する。
- 参考スコア(独自算出の注目度): 9.405458160620535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine-Learning-as-a-Service providers expose machine learning (ML) models
through application programming interfaces (APIs) to developers. Recent work
has shown that attackers can exploit these APIs to extract good approximations
of such ML models, by querying them with samples of their choosing. We propose
VarDetect, a stateful monitor that tracks the distribution of queries made by
users of such a service, to detect model extraction attacks. Harnessing the
latent distributions learned by a modified variational autoencoder, VarDetect
robustly separates three types of attacker samples from benign samples, and
successfully raises an alarm for each. Further, with VarDetect deployed as an
automated defense mechanism, the extracted substitute models are found to
exhibit poor performance and transferability, as intended. Finally, we
demonstrate that even adaptive attackers with prior knowledge of the deployment
of VarDetect, are detected by it.
- Abstract(参考訳): マシンラーニング・アズ・ア・サービスプロバイダは、アプリケーションプログラミングインターフェース(api)を通じて機械学習(ml)モデルを開発者に公開する。
最近の研究によると、攻撃者はこれらのAPIを利用して、そのようなMLモデルの適切な近似を抽出できる。
本稿では,そのようなサービスのユーザによるクエリの分布を追跡するステートフルモニタであるVarDetectを提案し,モデル抽出攻撃を検出する。
VarDetectは、修正された変分オートエンコーダによって学習された潜伏分布を悪用し、3種類の攻撃サンプルを良質なサンプルからしっかりと分離し、それぞれにアラームを発生させることに成功した。
さらに、VarDetectを自動防御機構として配置することにより、抽出した代替モデルは、意図したように、性能と転送性が劣ることがわかった。
最後に、VarDetectのデプロイに関する事前知識を持つアダプティブアタッカーでさえ、それによって検出されることを示す。
関連論文リスト
- PASA: Attack Agnostic Unsupervised Adversarial Detection using Prediction & Attribution Sensitivity Analysis [2.5347892611213614]
分類のためのディープニューラルネットワークは、サンプル入力に対する小さな摂動が誤った予測につながる敵攻撃に対して脆弱である。
本研究では, モデル予測と特徴属性のこの特性の実用的手法を開発し, 対向サンプルを検出する。
本手法は,敵が防御機構を認識した場合でも,競争性能を示す。
論文 参考訳(メタデータ) (2024-04-12T21:22:21Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳(メタデータ) (2023-06-06T14:23:34Z) - Masked Language Model Based Textual Adversarial Example Detection [14.734863175424797]
アドリアックは、安全クリティカルなアプリケーションにおける機械学習モデルの信頼性の高いデプロイに対する深刻な脅威である。
本稿では,MLMD(Masked Model-based Detection)という新たなテキスト対逆例検出手法を提案する。
論文 参考訳(メタデータ) (2023-04-18T06:52:14Z) - EMShepherd: Detecting Adversarial Samples via Side-channel Leakage [6.868995628617191]
敵対的攻撃は、ディープラーニングを駆使したクリティカルな応用にとって悲惨な結果をもたらす。
モデル実行の電磁的トレースを捕捉し、トレース上で処理を行い、敵検出に利用するためのフレームワークEMShepherdを提案する。
提案手法は,一般的に使用されているFPGA深層学習アクセラレータ上で,異なる敵攻撃を効果的に検出できることを実証する。
論文 参考訳(メタデータ) (2023-03-27T19:38:55Z) - On the Difficulty of Defending Self-Supervised Learning against Model
Extraction [23.497838165711983]
SSL(Self Supervised Learning)は、複雑な入力を明示的なラベルに頼ることなく表現に変換するモデルを訓練するMLパラダイムである。
本稿ではSSLに対するモデル盗難攻撃について検討する。
いくつかの新たな攻撃を構築し、被害者の盗難表現を直接訓練するアプローチがクエリ効率が高く、下流モデルに高い精度で適用可能であることを発見した。
論文 参考訳(メタデータ) (2022-05-16T17:20:44Z) - DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly
detection in air transportation [68.8204255655161]
識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。
通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。
その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
論文 参考訳(メタデータ) (2021-09-08T14:07:55Z) - Are Pretrained Transformers Robust in Intent Classification? A Missing
Ingredient in Evaluation of Out-of-Scope Intent Detection [93.40525251094071]
まず、少数ショットの意図認識タスクにおいて、ドメイン内スコープ外検出の重要性を指摘する。
次に、ドメイン内だがスコープ外(ID-OOS)であるサンプルに対して、事前訓練したTransformerベースのモデルの脆弱性を説明する。
論文 参考訳(メタデータ) (2021-06-08T17:51:12Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳(メタデータ) (2020-10-05T22:13:21Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳(メタデータ) (2020-06-10T04:12:53Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2020-03-24T08:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。