論文の概要: SnatchML: Hijacking ML models without Training Access
- arxiv url: http://arxiv.org/abs/2406.01708v2
- Date: Mon, 14 Apr 2025 09:56:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:47:34.536214
- Title: SnatchML: Hijacking ML models without Training Access
- Title（参考訳）: SnatchML:トレーニングアクセスなしでMLモデルをハイジャックする
- Authors: Mahmoud Ghorbel, Halima Bouzidi, Ioan Marius Bilasco, Ihsen Alouani,
- Abstract要約: 我々は、敵が被害者モデルの訓練段階にアクセスできない、推論ハイジャック時の攻撃に対する強力な脅威モデルを考える。
我々は、新しいトレーニングフリーモデルハイジャック攻撃であるSnatchMLを提案する。
AWS Sagemakerにデプロイされたモデルに関する我々の結果は、SnatchMLがハイジャックタスクに対して高い精度を提供できることを示した。
- 参考スコア（独自算出の注目度）: 5.005171792255858
- License:
- Abstract: Model hijacking can cause significant accountability and security risks since the owner of a hijacked model can be framed for having their model offer illegal or unethical services. Prior works consider model hijacking as a training time attack, whereby an adversary requires full access to the ML model training. In this paper, we consider a stronger threat model for an inference-time hijacking attack, where the adversary has no access to the training phase of the victim model. Our intuition is that ML models, which are typically over-parameterized, might have the capacity to (unintentionally) learn more than the intended task they are trained for. We propose SnatchML, a new training-free model hijacking attack, that leverages the extra capacity learnt by the victim model to infer different tasks that can be semantically related or unrelated to the original one. Our results on models deployed on AWS Sagemaker showed that SnatchML can deliver high accuracy on hijacking tasks. Interestingly, while all previous approaches are limited by the number of classes in the benign task, SnatchML can hijack models for tasks that contain more classes than the original. We explore different methods to mitigate this risk; We propose meta-unlearning, which is designed to help the model unlearn a potentially malicious task while training for the original task. We also provide insights on over-parametrization as a possible inherent factor that facilitates model hijacking, and accordingly, we propose a compression-based countermeasure to counteract this attack. We believe this work offers a previously overlooked perspective on model hijacking attacks, presenting a stronger threat model and higher applicability in real-world contexts.
- Abstract（参考訳）: モデルハイジャックは、ハイジャックされたモデルの所有者が、モデルが違法または非倫理的なサービスを提供するためにフレーム化できるため、重大な説明責任とセキュリティリスクを引き起こす可能性がある。
以前の作業では、モデルハイジャックはトレーニングタイムアタックであり、敵はMLモデルのトレーニングにフルアクセスする必要がある。
本稿では,敵が被害者モデルの訓練段階にアクセスできない,推論時ハイジャック攻撃に対する強力な脅威モデルを検討する。
私たちの直感は、一般的に過パラメータ化されているMLモデルは、トレーニング対象のタスクよりも(意図せずに)学習する能力を持っている、ということです。
本研究では,新たなトレーニングフリーモデルハイジャック攻撃であるSnatchMLを提案する。
AWS Sagemakerにデプロイされたモデルに関する我々の結果は、SnatchMLがハイジャックタスクに対して高い精度を提供できることを示した。
興味深いことに、以前のアプローチはすべて良質なタスクのクラス数によって制限されているが、SnatchMLはオリジナルのクラスよりも多くのクラスを含むタスクのモデルをハイジャックすることができる。
モデルが元のタスクのトレーニング中に潜在的に悪意のあるタスクを解放するのを助けるために設計されたメタアンラーニングを提案する。
また,モデルハイジャックを容易にする固有因子として過度パラメータ化に関する知見を提供し,この攻撃に対処するための圧縮型対策を提案する。
この作業は、以前見過ごされたモデルハイジャック攻撃の視点を提供し、より強力な脅威モデルと現実世界のコンテキストでのより高い適用性を示します。
関連論文リスト
- LoBAM: LoRA-Based Backdoor Attack on Model Merging [27.57659381949931]
モデルマージ(Model merging)は、異なるタスクに微調整された複数のモデルを統合して、複数のドメインにまたがる汎用モデルを作成する、新たなテクニックである。
既存の研究は、かなりの計算資源を仮定することで、そのような攻撃のリスクを実証しようとするものである。
最小限のトレーニングリソースで高い攻撃成功率を得る方法であるLoBAMを提案する。
論文 参考訳（メタデータ） (2024-11-23T20:41:24Z) - Model Hijacking Attack in Federated Learning [19.304332176437363]
HijackFLは、フェデレートラーニングにおけるグローバルモデルに対する、第一級のハイジャック攻撃である。
それは、サーバや良心的なクライアントの通知なしに、グローバルモデルが元のタスクとは異なるタスクを実行するように強制することを目的としています。
4つのベンチマークデータセットと3つの人気のあるモデルについて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-04T20:02:07Z) - Vera Verto: Multimodal Hijacking Attack [22.69532868255637]
このドメインにおける最近の攻撃は、モデルハイジャック攻撃であり、敵が犠牲者モデルをハイジャックして、自身のハイジャックタスクを実装する。
我々は、モデルハイジャック攻撃をより一般的なマルチモーダル設定に変換し、異なるモダリティのデータに基づいて、ハイジャックと元のタスクを実行する。
STL10, CIFAR-10, MNISTをハイジャックするために, Sogou ニュースデータセットを使用すると, 94%, 94%, 95%の攻撃成功率が得られる。
論文 参考訳（メタデータ） (2024-07-31T19:37:06Z) - Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。
バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む
我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文 参考訳（メタデータ） (2024-03-24T18:33:15Z) - SecurityNet: Assessing Machine Learning Vulnerabilities on Public Models [74.58014281829946]
本研究では, モデル盗難攻撃, メンバーシップ推論攻撃, パブリックモデルにおけるバックドア検出など, いくつかの代表的な攻撃・防御の有効性を解析する。
実験により,これらの攻撃・防御性能は,自己学習モデルと比較して,公共モデルによって大きく異なることが示された。
論文 参考訳（メタデータ） (2023-10-19T11:49:22Z) - Beyond Labeling Oracles: What does it mean to steal ML models? [52.63413852460003]
モデル抽出攻撃は、クエリアクセスのみで訓練されたモデルを盗むように設計されている。
モデル抽出攻撃の成功に影響を及ぼす要因について検討する。
我々は,ME攻撃の敵の目標を再定義するようコミュニティに促した。
論文 参考訳（メタデータ） (2023-10-03T11:10:21Z) - Isolation and Induction: Training Robust Deep Neural Networks against
Model Stealing Attacks [51.51023951695014]
既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。
本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。
モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
論文 参考訳（メタデータ） (2023-08-02T05:54:01Z) - CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated
Learning [77.27443885999404]
Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。
本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:30:16Z) - Careful What You Wish For: on the Extraction of Adversarially Trained
Models [2.707154152696381]
最近の機械学習(ML)モデルに対する攻撃は、いくつかのセキュリティとプライバシの脅威を引き起こす。
本稿では,敵の学習したモデルに対する抽出攻撃を評価する枠組みを提案する。
本研究では, 自然学習環境下で得られたモデルよりも, 敵の訓練を受けたモデルの方が抽出攻撃に対して脆弱であることを示す。
論文 参考訳（メタデータ） (2022-07-21T16:04:37Z) - Get a Model! Model Hijacking Attack Against Machine Learning Models [30.346469782056406]
本稿では,コンピュータビジョンに基づく機械学習モデル,すなわちモデルハイジャック攻撃に対する新たなトレーニング時間攻撃を提案する。
相手はターゲットモデルをハイジャックして、モデル所有者が気づかずに別のタスクを実行することを目的としている。
以上の結果から,2つのモデルハイジャック攻撃が,モデルユーティリティの低下により,高い攻撃成功率を達成できたことが示唆された。
論文 参考訳（メタデータ） (2021-11-08T11:30:50Z) - Training Meta-Surrogate Model for Transferable Adversarial Attack [98.13178217557193]
クエリーを許可しない場合、ブラックボックスモデルに対する逆攻撃を考える。
この設定では、多くの手法が代理モデルを直接攻撃し、得られた敵の例をターゲットモデルを騙すために転送する。
メタサロゲートモデル(Meta-Surrogate Model:MSM)は,このモデルに対する攻撃が,他のモデルに容易に転送できることを示す。
論文 参考訳（メタデータ） (2021-09-05T03:27:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。