論文の概要: Efficient and Effective Model Extraction
- arxiv url: http://arxiv.org/abs/2409.14122v2
- Date: Tue, 24 Sep 2024 04:29:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:56:55.409983
- Title: Efficient and Effective Model Extraction
- Title(参考訳): 効率的かつ効果的なモデル抽出
- Authors: Hongyu Zhu, Wentao Hu, Sichu Liang, Fangqi Li, Wenwen Wang, Shilin Wang,
- Abstract要約: Model extractは、最小限のオーバーヘッドで機械学習・アズ・ア・サービス(ML)APIから機能的に類似したコピーを作成することを目的としている。
本稿では,クエリ準備とトレーニングルーチンの両方に焦点をあて,効率的なモデル抽出(E3)アルゴリズムを提案する。
E3は計算コストを最小化しながら最先端の手法よりも優れた一般化を実現する。
- 参考スコア(独自算出の注目度): 15.597734509459332
- License:
- Abstract: Model extraction aims to create a functionally similar copy from a machine learning as a service (MLaaS) API with minimal overhead, typically for illicit profit or as a precursor to further attacks, posing a significant threat to the MLaaS ecosystem. However, recent studies have shown that model extraction is highly inefficient, particularly when the target task distribution is unavailable. In such cases, even substantially increasing the attack budget fails to produce a sufficiently similar replica, reducing the adversary's motivation to pursue extraction attacks. In this paper, we revisit the elementary design choices throughout the extraction lifecycle. We propose an embarrassingly simple yet dramatically effective algorithm, Efficient and Effective Model Extraction (E3), focusing on both query preparation and training routine. E3 achieves superior generalization compared to state-of-the-art methods while minimizing computational costs. For instance, with only 0.005 times the query budget and less than 0.2 times the runtime, E3 outperforms classical generative model based data-free model extraction by an absolute accuracy improvement of over 50% on CIFAR-10. Our findings underscore the persistent threat posed by model extraction and suggest that it could serve as a valuable benchmarking algorithm for future security evaluations.
- Abstract(参考訳): モデル抽出は、マシンラーニング・アズ・ア・サービス(MLaaS)APIから機能的に類似したコピーを作成することを目的としている。
しかし、最近の研究では、特に目標タスク分布が利用できない場合、モデル抽出は非常に非効率であることが示されている。
このような場合、攻撃予算を大幅に増やすと十分な類似のレプリカが得られず、敵が抽出攻撃を追求する動機を減らしてしまう。
本稿では,抽出ライフサイクルを通じて基本設計の選択肢を再考する。
本稿では,クエリ準備とトレーニングルーチンの両方に焦点をあてた,恥ずかしいほど単純だが劇的に効果的なアルゴリズム,E3(Efficient and Effective Model extract)を提案する。
E3は計算コストを最小化しながら最先端の手法よりも優れた一般化を実現する。
例えば、クエリ予算の0.005倍とランタイムの0.2倍に満たないE3は、CIFAR-10の絶対精度を50%以上向上することで、古典的な生成モデルに基づくデータフリーモデル抽出よりも優れています。
本研究は,モデル抽出による永続的脅威を浮き彫りにし,将来のセキュリティ評価に有用なベンチマークアルゴリズムとして機能する可能性が示唆された。
関連論文リスト
- EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。
本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
論文 参考訳(メタデータ) (2024-01-11T04:59:44Z) - MEAOD: Model Extraction Attack against Object Detectors [45.817537875368956]
モデル抽出攻撃は、攻撃者が被害者モデルに匹敵する機能を持つ代替モデルを複製することを可能にする。
本稿では,オブジェクト検出モデルに対するMEAODと呼ばれる効果的な攻撃手法を提案する。
10kのクエリ予算の所定の条件下で,抽出性能を70%以上達成する。
論文 参考訳(メタデータ) (2023-12-22T13:28:50Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。
拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。
本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文 参考訳(メタデータ) (2023-06-09T18:40:55Z) - Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。
本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。
GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
論文 参考訳(メタデータ) (2023-05-20T16:41:48Z) - Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。
高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。
これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2022-10-12T17:54:59Z) - A Generative Model for Relation Extraction and Classification [23.1277041729626]
関係抽出・分類のための新しい生成モデル(GREC)を提案する。
本稿では、ソースおよびターゲットシーケンスの様々なエンコーディング表現について検討し、3つのベンチマークREデータセット上でGRECが最先端のパフォーマンスを達成できる効果的なスキームを設計する。
我々のアプローチは1つのパスで文からすべての関係三重項を抽出するために拡張することができる。
論文 参考訳(メタデータ) (2022-02-26T21:17:18Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳(メタデータ) (2021-07-14T17:55:28Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Model Extraction and Defenses on Generative Adversarial Networks [0.9442139459221782]
生成敵ネットワーク(GAN)に対するモデル抽出攻撃の実現可能性について検討する。
本稿では,GANモデルの実用性とセキュリティのトレードオフを考慮した効果的な防衛手法を提案する。
論文 参考訳(メタデータ) (2021-01-06T14:36:21Z) - Model Extraction Attacks against Recurrent Neural Networks [1.2891210250935146]
繰り返しニューラルネットワーク(RNN)に対するモデル抽出攻撃の脅威について検討する。
長い短期記憶(LSTM)から単純なRNNを用いて精度の高いモデルを抽出できるかどうかを論じる。
次に、特に損失関数とより複雑なアーキテクチャを構成することにより、精度の高いモデルを効率的に抽出できることを示す。
論文 参考訳(メタデータ) (2020-02-01T01:47:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。