論文の概要: Fully Exploiting Every Real Sample: SuperPixel Sample Gradient Model Stealing
- arxiv url: http://arxiv.org/abs/2406.18540v1
- Date: Sat, 18 May 2024 08:38:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 06:12:00.614401
- Title: Fully Exploiting Every Real Sample: SuperPixel Sample Gradient Model Stealing
- Title（参考訳）: 超Pixelのサンプルモデルステアリング
- Authors: Yunlong Zhao, Xiaoheng Deng, Yijing Liu, Xinjun Pei, Jiazhi Xia, Wei Chen,
- Abstract要約: モデルステルス(MS)は、機械学習モデルの出力をクエリして観察することで、その能力を盗む。
Superpixel Sample Gradient stealing (SPSG) は、限られた実サンプルの制約の下でモデルステルスを行う。
- 参考スコア（独自算出の注目度）: 10.48229619478838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model stealing (MS) involves querying and observing the output of a machine learning model to steal its capabilities. The quality of queried data is crucial, yet obtaining a large amount of real data for MS is often challenging. Recent works have reduced reliance on real data by using generative models. However, when high-dimensional query data is required, these methods are impractical due to the high costs of querying and the risk of model collapse. In this work, we propose using sample gradients (SG) to enhance the utility of each real sample, as SG provides crucial guidance on the decision boundaries of the victim model. However, utilizing SG in the model stealing scenario faces two challenges: 1. Pixel-level gradient estimation requires extensive query volume and is susceptible to defenses. 2. The estimation of sample gradients has a significant variance. This paper proposes Superpixel Sample Gradient stealing (SPSG) for model stealing under the constraint of limited real samples. With the basic idea of imitating the victim model's low-variance patch-level gradients instead of pixel-level gradients, SPSG achieves efficient sample gradient estimation through two steps. First, we perform patch-wise perturbations on query images to estimate the average gradient in different regions of the image. Then, we filter the gradients through a threshold strategy to reduce variance. Exhaustive experiments demonstrate that, with the same number of real samples, SPSG achieves accuracy, agreements, and adversarial success rate significantly surpassing the current state-of-the-art MS methods. Codes are available at https://github.com/zyl123456aB/SPSG_attack.
- Abstract（参考訳）: モデルステルス(MS)は、機械学習モデルの出力をクエリして観察することで、その能力を盗む。
クエリデータの品質は非常に重要ですが、MSのための大量の実データを取得することは、しばしば困難です。
近年の研究では、生成モデルを用いることで、実際のデータへの依存を減らしている。
しかし,高次元クエリデータが必要な場合,クエリのコストが高く,モデル崩壊のリスクがあるため,これらの手法は実用的ではない。
本研究では,SGが被害者モデルの決定境界について重要なガイダンスを提供するため,サンプル勾配(SG)を用いて実サンプルの有用性を高めることを提案する。
しかし、モデルステルスシナリオにおけるSGの利用には、以下の2つの課題がある。
1. 画素レベルの勾配推定には、広範囲なクエリボリュームが必要で、ディフェンスの影響を受けやすい。
2) 試料勾配の推定には大きなばらつきがある。
本稿では,限られた実サンプルの制約下でのモデルステイリングのためのSuperpixel Sample Gradient stealing (SPSG)を提案する。
SPSGは、ピクセルレベルの勾配ではなく、被害者モデルの低分散パッチレベルの勾配を模倣するという基本的な考え方により、2つのステップで効率的なサンプル勾配推定を実現する。
まず,問合せ画像のパッチワイド摂動を行い,各領域の平均勾配を推定する。
次に、勾配をしきい値戦略でフィルタリングし、分散を低減する。
実験により、SPSGは実サンプルの数と同じで、現在の最先端のMS法をはるかに上回る精度、合意、および対角的な成功率を達成することが示された。
コードはhttps://github.com/zyl123456aB/SPSG_ attackで公開されている。
関連論文リスト
- Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
生成したサンプルの数を増やすことで、別の軸として推論計算を探索する。
すべての回答を自動的に検証できるコーディングや形式証明のようなドメインでは、カバレッジの増加は直接的にパフォーマンスの向上に変換される。
多くの世代から正しいサンプルを同定することは、自動検証のない領域における将来の研究にとって重要な方向である。
論文 参考訳（メタデータ） (2024-07-31T17:57:25Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳（メタデータ） (2023-10-30T18:43:21Z) - Enhancing Generalization of Universal Adversarial Perturbation through
Gradient Aggregation [40.18851174642427]
深部ニューラルネットワークは普遍的逆境摂動(UAP)に脆弱である
本稿では,一般化の観点から,UAP生成手法の真剣なジレンマについて検討する。
グラディエント・アグリゲーション(SGA)と呼ばれるシンプルで効果的な手法を提案する。
SGAは勾配の消失を緩和し、局所最適度の低下から同時に逃れる。
論文 参考訳（メタデータ） (2023-08-11T08:44:58Z) - Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。
我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
論文 参考訳（メタデータ） (2022-07-16T03:09:30Z) - SSR-HEF: Crowd Counting with Multi-Scale Semantic Refining and Hard
Example Focusing [21.326958308285114]
群集カウントの回帰タスクに対するHard Example Focusing(HEF)アルゴリズムを提案する。
HEFアルゴリズムは、簡単なサンプルの寄与を減らし、ハードサンプルに迅速にフォーカスする。
提案手法を検証するため,6つのベンチマークデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-04-15T10:01:35Z) - Estimating Example Difficulty Using Variance of Gradients [5.69361786082969]
VoG(Variance of Gradients)は、データのランク付けを難しくする指標である。
ここでは,VoGはデータのランク付けに難易度の高い指標であることを示す。
論文 参考訳（メタデータ） (2020-08-26T14:53:24Z) - Salvage Reusable Samples from Noisy Data for Robust Learning [70.48919625304]
本稿では,Web画像を用いた深部FGモデルのトレーニングにおいて,ラベルノイズに対処するための再利用可能なサンプル選択と修正手法を提案する。
私たちのキーとなるアイデアは、再利用可能なサンプルの追加と修正を行い、それらをクリーンな例とともに活用してネットワークを更新することです。
論文 参考訳（メタデータ） (2020-08-06T02:07:21Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳（メタデータ） (2020-02-20T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。