論文の概要: Model for Peanuts: Hijacking ML Models without Training Access is Possible

• arxiv url: http://arxiv.org/abs/2406.01708v1
• Date: Mon, 3 Jun 2024 18:04:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 21:11:55.577184
• Title: Model for Peanuts: Hijacking ML Models without Training Access is Possible
• Title（参考訳）: ピーナッツモデル:トレーニングアクセスなしでMLモデルをハイジャックすることは可能か
• Authors: Mahmoud Ghorbel, Halima Bouzidi, Ioan Marius Bilasco, Ihsen Alouani,
• Abstract要約: モデルハイジャック(英: Model hijacking)とは、被害者のモデルをハイジャックして元のモデルとは異なるタスクを実行する攻撃である。 本研究では、未知の入力サンプルを分類するために、SnatchMLと呼ばれる推論時にモデルハイジャックを行うための簡単なアプローチを提案する。 最初にメタ学習と呼ぶ新しいアプローチを提案し、モデルが元のデータセットをトレーニングしながら潜在的に悪意のあるタスクを解放するのに役立つように設計した。
• 参考スコア（独自算出の注目度）: 5.005171792255858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The massive deployment of Machine Learning (ML) models has been accompanied by the emergence of several attacks that threaten their trustworthiness and raise ethical and societal concerns such as invasion of privacy, discrimination risks, and lack of accountability. Model hijacking is one of these attacks, where the adversary aims to hijack a victim model to execute a different task than its original one. Model hijacking can cause accountability and security risks since a hijacked model owner can be framed for having their model offering illegal or unethical services. Prior state-of-the-art works consider model hijacking as a training time attack, whereby an adversary requires access to the ML model training to execute their attack. In this paper, we consider a stronger threat model where the attacker has no access to the training phase of the victim model. Our intuition is that ML models, typically over-parameterized, might (unintentionally) learn more than the intended task for they are trained. We propose a simple approach for model hijacking at inference time named SnatchML to classify unknown input samples using distance measures in the latent space of the victim model to previously known samples associated with the hijacking task classes. SnatchML empirically shows that benign pre-trained models can execute tasks that are semantically related to the initial task. Surprisingly, this can be true even for hijacking tasks unrelated to the original task. We also explore different methods to mitigate this risk. We first propose a novel approach we call meta-unlearning, designed to help the model unlearn a potentially malicious task while training on the original task dataset. We also provide insights on over-parameterization as one possible inherent factor that makes model hijacking easier, and we accordingly propose a compression-based countermeasure against this attack.
• Abstract（参考訳）: 機械学習(ML)モデルの大規模な展開は、信頼性を脅かし、プライバシーの侵害、差別リスク、説明責任の欠如といった倫理的および社会的懸念を提起する、いくつかの攻撃の出現に伴っている。 モデルハイジャックはこれらの攻撃の1つであり、敵は被害者のモデルをハイジャックして元のモデルとは異なるタスクを実行する。 モデルハイジャックは、ハイジャックされたモデル所有者が、違法または非倫理的なサービスを提供するモデルを持つことによって、説明責任とセキュリティ上のリスクを引き起こす可能性がある。 従来の最先端の作業では、モデルハイジャックはトレーニングタイムアタックであり、敵は攻撃を実行するためにMLモデルのトレーニングにアクセスする必要がある。 本稿では、攻撃者が被害者モデルの訓練段階にアクセスできないような、より強力な脅威モデルを考える。 私たちの直感では、MLモデルは、通常過パラメータ化され、(意図せずに)トレーニング対象のタスクよりも多くを学ぶことができる。 本研究では,SnatchMLと命名された推論時間におけるモデルハイジャックに対する簡単なアプローチを提案し,被害者モデルの潜伏空間における距離測定を用いて未知の入力サンプルを,ハイジャックタスククラスに関連する既知のサンプルに分類する。 SnatchMLは経験的に、良質な事前訓練されたモデルが初期タスクと意味的に関連するタスクを実行できることを示している。 驚いたことに、これは元のタスクとは無関係なタスクをハイジャックしても当てはまる。 このリスクを軽減するために、さまざまな方法も検討しています。 最初にメタ学習と呼ぶ新しいアプローチを提案し、モデルが元のタスクデータセットをトレーニングしながら潜在的に悪意のあるタスクを解放するのに役立つように設計した。 また,モデルハイジャックを容易にする1つの要因として,過パラメータ化に関する洞察を提供し,この攻撃に対する圧縮に基づく対策を提案する。

関連論文リスト

• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• SecurityNet: Assessing Machine Learning Vulnerabilities on Public Models [74.58014281829946]
  本研究では, モデル盗難攻撃, メンバーシップ推論攻撃, パブリックモデルにおけるバックドア検出など, いくつかの代表的な攻撃・防御の有効性を解析する。 実験により,これらの攻撃・防御性能は,自己学習モデルと比較して,公共モデルによって大きく異なることが示された。
  論文  参考訳（メタデータ） (2023-10-19T11:49:22Z)
• Beyond Labeling Oracles: What does it mean to steal ML models? [52.63413852460003]
  モデル抽出攻撃は、クエリアクセスのみで訓練されたモデルを盗むように設計されている。 モデル抽出攻撃の成功に影響を及ぼす要因について検討する。 我々は,ME攻撃の敵の目標を再定義するようコミュニティに促した。
  論文  参考訳（メタデータ） (2023-10-03T11:10:21Z)
• Isolation and Induction: Training Robust Deep Neural Networks against Model Stealing Attacks [51.51023951695014]
  既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。 本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。 モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
  論文  参考訳（メタデータ） (2023-08-02T05:54:01Z)
• Unstoppable Attack: Label-Only Model Inversion via Conditional Diffusion Model [14.834360664780709]
  モデルアタック(MIA)は、深層学習モデルの到達不可能なトレーニングセットからプライベートデータを復元することを目的としている。 そこで本研究では,条件拡散モデル(CDM)を応用したMIA手法を開発し,対象ラベル下でのサンプルの回収を行う。 実験結果から,本手法は従来手法よりも高い精度で類似したサンプルをターゲットラベルに生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-17T12:14:24Z)
• CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated Learning [77.27443885999404]
  Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。 本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:30:16Z)
• Careful What You Wish For: on the Extraction of Adversarially Trained Models [2.707154152696381]
  最近の機械学習(ML)モデルに対する攻撃は、いくつかのセキュリティとプライバシの脅威を引き起こす。 本稿では,敵の学習したモデルに対する抽出攻撃を評価する枠組みを提案する。 本研究では, 自然学習環境下で得られたモデルよりも, 敵の訓練を受けたモデルの方が抽出攻撃に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2022-07-21T16:04:37Z)
• Get a Model! Model Hijacking Attack Against Machine Learning Models [30.346469782056406]
  本稿では,コンピュータビジョンに基づく機械学習モデル,すなわちモデルハイジャック攻撃に対する新たなトレーニング時間攻撃を提案する。 相手はターゲットモデルをハイジャックして、モデル所有者が気づかずに別のタスクを実行することを目的としている。 以上の結果から,2つのモデルハイジャック攻撃が,モデルユーティリティの低下により,高い攻撃成功率を達成できたことが示唆された。
  論文  参考訳（メタデータ） (2021-11-08T11:30:50Z)
• Training Meta-Surrogate Model for Transferable Adversarial Attack [98.13178217557193]
  クエリーを許可しない場合、ブラックボックスモデルに対する逆攻撃を考える。 この設定では、多くの手法が代理モデルを直接攻撃し、得られた敵の例をターゲットモデルを騙すために転送する。 メタサロゲートモデル(Meta-Surrogate Model:MSM)は,このモデルに対する攻撃が,他のモデルに容易に転送できることを示す。
  論文  参考訳（メタデータ） (2021-09-05T03:27:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。