論文の概要: Efficient and Effective Model Extraction

• arxiv url: http://arxiv.org/abs/2409.14122v2
• Date: Tue, 24 Sep 2024 04:29:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 03:33:25.621441
• Title: Efficient and Effective Model Extraction
• Title（参考訳）: 効率的かつ効果的なモデル抽出
• Authors: Hongyu Zhu, Wentao Hu, Sichu Liang, Fangqi Li, Wenwen Wang, Shilin Wang,
• Abstract要約: Model extractは、最小限のオーバーヘッドで機械学習・アズ・ア・サービス(ML)APIから機能的に類似したコピーを作成することを目的としている。 本稿では,クエリ準備とトレーニングルーチンの両方に焦点をあて,効率的なモデル抽出(E3)アルゴリズムを提案する。 E3は計算コストを最小化しながら最先端の手法よりも優れた一般化を実現する。
• 参考スコア（独自算出の注目度）: 15.597734509459332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model extraction aims to create a functionally similar copy from a machine learning as a service (MLaaS) API with minimal overhead, typically for illicit profit or as a precursor to further attacks, posing a significant threat to the MLaaS ecosystem. However, recent studies have shown that model extraction is highly inefficient, particularly when the target task distribution is unavailable. In such cases, even substantially increasing the attack budget fails to produce a sufficiently similar replica, reducing the adversary's motivation to pursue extraction attacks. In this paper, we revisit the elementary design choices throughout the extraction lifecycle. We propose an embarrassingly simple yet dramatically effective algorithm, Efficient and Effective Model Extraction (E3), focusing on both query preparation and training routine. E3 achieves superior generalization compared to state-of-the-art methods while minimizing computational costs. For instance, with only 0.005 times the query budget and less than 0.2 times the runtime, E3 outperforms classical generative model based data-free model extraction by an absolute accuracy improvement of over 50% on CIFAR-10. Our findings underscore the persistent threat posed by model extraction and suggest that it could serve as a valuable benchmarking algorithm for future security evaluations.
• Abstract（参考訳）: モデル抽出は、マシンラーニング・アズ・ア・サービス(MLaaS)APIから機能的に類似したコピーを作成することを目的としている。 しかし、最近の研究では、特に目標タスク分布が利用できない場合、モデル抽出は非常に非効率であることが示されている。 このような場合、攻撃予算を大幅に増やすと十分な類似のレプリカが得られず、敵が抽出攻撃を追求する動機を減らしてしまう。 本稿では,抽出ライフサイクルを通じて基本設計の選択肢を再考する。 本稿では,クエリ準備とトレーニングルーチンの両方に焦点をあてた,恥ずかしいほど単純だが劇的に効果的なアルゴリズム,E3(Efficient and Effective Model extract)を提案する。 E3は計算コストを最小化しながら最先端の手法よりも優れた一般化を実現する。 例えば、クエリ予算の0.005倍とランタイムの0.2倍に満たないE3は、CIFAR-10の絶対精度を50%以上向上することで、古典的な生成モデルに基づくデータフリーモデル抽出よりも優れています。 本研究は,モデル抽出による永続的脅威を浮き彫りにし,将来のセキュリティ評価に有用なベンチマークアルゴリズムとして機能する可能性が示唆された。

関連論文リスト

• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• MEAOD: Model Extraction Attack against Object Detectors [45.817537875368956]
  モデル抽出攻撃は、攻撃者が被害者モデルに匹敵する機能を持つ代替モデルを複製することを可能にする。 本稿では,オブジェクト検出モデルに対するMEAODと呼ばれる効果的な攻撃手法を提案する。 10kのクエリ予算の所定の条件下で,抽出性能を70%以上達成する。
  論文  参考訳（メタデータ） (2023-12-22T13:28:50Z)
• Defense Against Model Extraction Attacks on Recommender Systems [53.127820987326295]
  本稿では、モデル抽出攻撃に対するリコメンデータシステムに対する防御のために、グラディエントベースのランキング最適化(GRO)を導入する。 GROは、攻撃者の代理モデルの損失を最大化しながら、保護対象モデルの損失を最小限にすることを目的としている。 その結果,モデル抽出攻撃に対するGROの防御効果は良好であった。
  論文  参考訳（メタデータ） (2023-10-25T03:30:42Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
  マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。 本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。 GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
  論文  参考訳（メタデータ） (2023-05-20T16:41:48Z)
• Careful What You Wish For: on the Extraction of Adversarially Trained Models [2.707154152696381]
  最近の機械学習(ML)モデルに対する攻撃は、いくつかのセキュリティとプライバシの脅威を引き起こす。 本稿では,敵の学習したモデルに対する抽出攻撃を評価する枠組みを提案する。 本研究では, 自然学習環境下で得られたモデルよりも, 敵の訓練を受けたモデルの方が抽出攻撃に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2022-07-21T16:04:37Z)
• A Generative Model for Relation Extraction and Classification [23.1277041729626]
  関係抽出・分類のための新しい生成モデル(GREC)を提案する。 本稿では、ソースおよびターゲットシーケンスの様々なエンコーディング表現について検討し、3つのベンチマークREデータセット上でGRECが最先端のパフォーマンスを達成できる効果的なスキームを設計する。 我々のアプローチは1つのパスで文からすべての関係三重項を抽出するために拡張することができる。
  論文  参考訳（メタデータ） (2022-02-26T21:17:18Z)
• Model Extraction and Defenses on Generative Adversarial Networks [0.9442139459221782]
  生成敵ネットワーク(GAN)に対するモデル抽出攻撃の実現可能性について検討する。 本稿では,GANモデルの実用性とセキュリティのトレードオフを考慮した効果的な防衛手法を提案する。
  論文  参考訳（メタデータ） (2021-01-06T14:36:21Z)
• Model Extraction Attacks against Recurrent Neural Networks [1.2891210250935146]
  繰り返しニューラルネットワーク(RNN)に対するモデル抽出攻撃の脅威について検討する。 長い短期記憶(LSTM)から単純なRNNを用いて精度の高いモデルを抽出できるかどうかを論じる。 次に、特に損失関数とより複雑なアーキテクチャを構成することにより、精度の高いモデルを効率的に抽出できることを示す。
  論文  参考訳（メタデータ） (2020-02-01T01:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。