論文の概要: Towards Few-Call Model Stealing via Active Self-Paced Knowledge
Distillation and Diffusion-Based Image Generation
- arxiv url: http://arxiv.org/abs/2310.00096v1
- Date: Fri, 29 Sep 2023 19:09:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 06:40:33.335408
- Title: Towards Few-Call Model Stealing via Active Self-Paced Knowledge
Distillation and Diffusion-Based Image Generation
- Title(参考訳): 能動自己ペースト知識蒸留と拡散に基づく画像生成によるマイノリティコールモデル盗み
- Authors: Vlad Hondru, Radu Tudor Ionescu
- Abstract要約: そこで本研究では,ブラックボックスの分類モデルを,トレーニングデータやアーキテクチャ,重みなどにアクセスせずにコピーすることを提案する。
蒸留時にプロキシデータを最大限に活用するために,新たなアクティブなセルフペース学習フレームワークを採用している。
2つのデータセットに対する実験結果から,マルチコールモデル抽出シナリオにおける2つの最先端手法に対するフレームワークの優位性が確認された。
- 参考スコア(独自算出の注目度): 33.60710287553274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models showcased strong capabilities in image synthesis, being used
in many computer vision tasks with great success. To this end, we propose to
explore a new use case, namely to copy black-box classification models without
having access to the original training data, the architecture, and the weights
of the model, \ie~the model is only exposed through an inference API. More
specifically, we can only observe the (soft or hard) labels for some image
samples passed as input to the model. Furthermore, we consider an additional
constraint limiting the number of model calls, mostly focusing our research on
few-call model stealing. In order to solve the model extraction task given the
applied restrictions, we propose the following framework. As training data, we
create a synthetic data set (called proxy data set) by leveraging the ability
of diffusion models to generate realistic and diverse images. Given a maximum
number of allowed API calls, we pass the respective number of samples through
the black-box model to collect labels. Finally, we distill the knowledge of the
black-box teacher (attacked model) into a student model (copy of the attacked
model), harnessing both labeled and unlabeled data generated by the diffusion
model. We employ a novel active self-paced learning framework to make the most
of the proxy data during distillation. Our empirical results on two data sets
confirm the superiority of our framework over two state-of-the-art methods in
the few-call model extraction scenario.
- Abstract(参考訳): 拡散モデルは画像合成において強力な能力を示し、多くのコンピュータビジョンタスクで大きな成功を収めた。
そこで本研究では,従来のトレーニングデータやアーキテクチャ,モデルの重みなどにアクセスすることなく,ブラックボックス分類モデルをコピーする,新たなユースケースを提案する。
より具体的には、モデルに入力として渡されるいくつかの画像サンプルの(ソフトまたはハードの)ラベルのみを観察できる。
さらに、モデル呼び出し数を制限する追加の制約も考慮し、主に、限定呼び出しモデル盗みの研究に焦点を当てた。
適用制約を考慮に入れたモデル抽出課題を解決するため,以下の枠組みを提案する。
トレーニングデータとして,拡散モデルを用いて現実的な多彩な画像を生成することで,合成データセット(プロキシデータセットと呼ばれる)を作成する。
許容されるAPI呼び出しの最大数が与えられた場合、各サンプル数をブラックボックスモデルに渡してラベルを収集する。
最後に,ブラックボックス教師(攻撃モデル)の知識を学生モデル(攻撃モデルのコピー)に蒸留し,拡散モデルによって生成されたラベル付きデータとラベルなしデータの両方を活用する。
蒸留時にプロキシデータを最大限に活用するために,新たなアクティブなセルフペース学習フレームワークを採用している。
2つのデータセットに対する実験結果から,マルチコールモデル抽出シナリオにおける2つの最先端手法に対するフレームワークの優位性が確認された。
関連論文リスト
- Cross-Domain Transfer Learning with CoRTe: Consistent and Reliable
Transfer from Black-Box to Lightweight Segmentation Model [25.3403116022412]
CoRTeは、ブラックボックスソースモデルから信頼できる知識を抽出する擬似ラベリング関数である。
我々は,2つの合成から現実の環境でCoRTeをベンチマークし,ブラックボックスモデルを用いて目標データ分布の軽量モデルにおける知識を伝達する際,顕著な結果を示した。
論文 参考訳(メタデータ) (2024-02-20T16:35:14Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - Privacy Distillation: Reducing Re-identification Risk of Multimodal
Diffusion Models [11.659461421660613]
プライバシ蒸留(Privacy Distillation)は、テキストから画像への生成モデルで、識別可能なデータに公開することなく、別のモデルを教えることができるフレームワークである。
本手法は,(1)実データ上で第1拡散モデルをトレーニングし,(2)本モデルを用いて合成データセットを生成し,(3)再構成された合成データに対して第2拡散モデルをトレーニングする。
論文 参考訳(メタデータ) (2023-06-02T07:44:00Z) - Black-box Source-free Domain Adaptation via Two-stage Knowledge
Distillation [8.224874938178633]
ソースのないドメイン適応は、事前訓練されたソースモデルとターゲットデータのみを使用して、ディープニューラルネットワークを適用することを目的としている。
ソースモデルにアクセスするには ソースデータを漏洩する可能性がある 患者のプライバシが明らかになる
ブラックボックスのソースフリーなドメイン適応では、ソースモデルとターゲットデータの出力のみが利用可能である。
論文 参考訳(メタデータ) (2023-05-13T10:00:24Z) - DINOv2: Learning Robust Visual Features without Supervision [75.42921276202522]
この研究は、既存の事前学習手法、特に自己教師付き手法が、多様なソースから十分なキュレートされたデータで訓練すれば、そのような特徴を生み出すことができることを示している。
技術的な貢献の多くは、大規模なトレーニングを加速し、安定化することを目的としています。
データの観点からは、自己組織化されていないデータではなく、専用で多様でキュレートされた画像データセットを構築するための自動パイプラインを提案する。
論文 参考訳(メタデータ) (2023-04-14T15:12:19Z) - Diffusion Art or Digital Forgery? Investigating Data Replication in
Diffusion Models [53.03978584040557]
生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。
フレームワークをオックスフォード花、Celeb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製の速度にどのように影響するかを議論する。
論文 参考訳(メタデータ) (2022-12-07T18:58:02Z) - Are You Stealing My Model? Sample Correlation for Fingerprinting Deep
Neural Networks [86.55317144826179]
従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。
本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。
SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
論文 参考訳(メタデータ) (2022-10-21T02:07:50Z) - On Distillation of Guided Diffusion Models [94.95228078141626]
そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。
遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
論文 参考訳(メタデータ) (2022-10-06T18:03:56Z) - MEGA: Model Stealing via Collaborative Generator-Substitute Networks [4.065949099860426]
近年のデータフリーモデルステイティングメソッドは,実際のクエリの例を使わずに,ターゲットモデルの知識を抽出するために有効であることが示されている。
本稿では,データフリーモデルステーリングフレームワーク(MEGA)を提案する。
以上の結果から,我々の訓練した代替モデルの精度と敵攻撃成功率は,最先端のデータフリーブラックボックス攻撃よりも最大で33%,40%高い値となる可能性が示唆された。
論文 参考訳(メタデータ) (2022-01-31T09:34:28Z) - Design of Dynamic Experiments for Black-Box Model Discrimination [72.2414939419588]
選択したいような動的モデル判別の設定を考えてみましょう。 (i) 最高のメカニスティックな時間変化モデルと (ii) 最高のモデルパラメータ推定値です。
勾配情報にアクセス可能な競合する力学モデルに対しては、既存の手法を拡張し、より広い範囲の問題の不確実性を組み込む。
これらのブラックボックスモデルをガウス過程サロゲートモデルに置き換えることで、モデル識別設定を拡張して、競合するブラックボックスモデルをさらに取り入れる。
論文 参考訳(メタデータ) (2021-02-07T11:34:39Z) - Black-Box Ripper: Copying black-box models using generative evolutionary
algorithms [29.243901669124515]
ブラックボックスニューラルモデルの機能を複製する作業について検討する。
ブラックボックスモデルによるバックプロパゲーションは不可能であると仮定する。
ブラックボックス(教師)モデルを学生モデルに蒸留できる教師学生フレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-21T17:25:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。