論文の概要: LoBAM: LoRA-Based Backdoor Attack on Model Merging

• arxiv url: http://arxiv.org/abs/2411.16746v1
• Date: Sat, 23 Nov 2024 20:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:58.825807
• Title: LoBAM: LoRA-Based Backdoor Attack on Model Merging
• Title（参考訳）: LoBAM:LoRAベースのモデルマージ攻撃
• Authors: Ming Yin, Jingyang Zhang, Jingwei Sun, Minghong Fang, Hai Li, Yiran Chen,
• Abstract要約: モデルマージ(Model merging)は、異なるタスクに微調整された複数のモデルを統合して、複数のドメインにまたがる汎用モデルを作成する、新たなテクニックである。 既存の研究は、かなりの計算資源を仮定することで、そのような攻撃のリスクを実証しようとするものである。 最小限のトレーニングリソースで高い攻撃成功率を得る方法であるLoBAMを提案する。
• 参考スコア（独自算出の注目度）: 27.57659381949931
• License:
• Abstract: Model merging is an emerging technique that integrates multiple models fine-tuned on different tasks to create a versatile model that excels in multiple domains. This scheme, in the meantime, may open up backdoor attack opportunities where one single malicious model can jeopardize the integrity of the merged model. Existing works try to demonstrate the risk of such attacks by assuming substantial computational resources, focusing on cases where the attacker can fully fine-tune the pre-trained model. Such an assumption, however, may not be feasible given the increasing size of machine learning models. In practice where resources are limited and the attacker can only employ techniques like Low-Rank Adaptation (LoRA) to produce the malicious model, it remains unclear whether the attack can still work and pose threats. In this work, we first identify that the attack efficacy is significantly diminished when using LoRA for fine-tuning. Then, we propose LoBAM, a method that yields high attack success rate with minimal training resources. The key idea of LoBAM is to amplify the malicious weights in an intelligent way that effectively enhances the attack efficacy. We demonstrate that our design can lead to improved attack success rate through both theoretical proof and extensive empirical experiments across various model merging scenarios. Moreover, we show that our method has strong stealthiness and is difficult to detect.
• Abstract（参考訳）: モデルマージ(Model merging)は、異なるタスクに微調整された複数のモデルを統合して、複数のドメインにまたがる汎用モデルを作成する、新たなテクニックである。 一方、このスキームは、1つの悪意あるモデルがマージされたモデルの完全性を危うくするバックドアアタックの機会を開放する可能性がある。 既存の研究は、攻撃者が事前訓練されたモデルを完全に微調整できるケースに焦点を当て、かなりの計算資源を仮定することで、そのような攻撃のリスクを実証しようとするものである。 しかし、機械学習モデルのサイズが大きくなると、そのような仮定は実現できないかもしれない。 リソースが限られており、攻撃者が悪意のあるモデルを生成するためにLoRA(Lo-Rank Adaptation)のようなテクニックしか使用できない場合、攻撃がまだ機能し、脅威を生じさせるかどうかは不明だ。 そこで本研究では,LoRAを微調整に用いる場合,攻撃効果が著しく低下することを確認した。 そこで我々は,最小限のトレーニングリソースで高い攻撃成功率が得られるLoBAMを提案する。 LoBAMの鍵となる考え方は、攻撃の有効性を効果的に向上するインテリジェントな方法で悪意ある重みを増幅することである。 我々の設計は,様々なモデル統合シナリオにおける理論的証明と広範な実証実験を通じて,攻撃成功率の向上につながることを実証した。 さらに,本手法は強いステルス性を有し,検出が困難であることを示す。

関連論文リスト

• Model for Peanuts: Hijacking ML Models without Training Access is Possible [5.005171792255858]
  モデルハイジャック(英: Model hijacking)とは、被害者のモデルをハイジャックして元のモデルとは異なるタスクを実行する攻撃である。 本研究では、未知の入力サンプルを分類するために、SnatchMLと呼ばれる推論時にモデルハイジャックを行うための簡単なアプローチを提案する。 最初にメタ学習と呼ぶ新しいアプローチを提案し、モデルが元のデータセットをトレーニングしながら潜在的に悪意のあるタスクを解放するのに役立つように設計した。
  論文  参考訳（メタデータ） (2024-06-03T18:04:37Z)
• DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
  敵攻撃は入力データに微妙な摂動をもたらす可能性がある。 最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。 そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T23:43:47Z)
• Defense Against Model Extraction Attacks on Recommender Systems [53.127820987326295]
  本稿では、モデル抽出攻撃に対するリコメンデータシステムに対する防御のために、グラディエントベースのランキング最適化(GRO)を導入する。 GROは、攻撃者の代理モデルの損失を最大化しながら、保護対象モデルの損失を最小限にすることを目的としている。 その結果,モデル抽出攻撃に対するGROの防御効果は良好であった。
  論文  参考訳（メタデータ） (2023-10-25T03:30:42Z)
• Ensemble-based Blackbox Attacks on Dense Prediction [16.267479602370543]
  慎重に設計されたアンサンブルは、多くの犠牲者モデルに対して効果的な攻撃を発生させることができることを示す。 特に,個々のモデルに対する重み付けの正規化が,攻撃の成功に重要な役割を担っていることを示す。 提案手法は同時に複数のブラックボックス検出とセグメンテーションモデルを騙すことができる単一摂動を生成することができる。
  論文  参考訳（メタデータ） (2023-03-25T00:08:03Z)
• A Plot is Worth a Thousand Words: Model Information Stealing Attacks via Scientific Plots [14.998272283348152]
  敵がターゲットのMLモデルの出力を利用してモデルの情報を盗むことはよく知られている。 我々は、モデル情報盗難攻撃、すなわちモデルの科学的プロットのための新しいサイドチャネルを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:57:34Z)
• Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability [20.255708227671573]
  ブラックボックスの敵攻撃は、あるモデルから別のモデルに転送することができる。 本研究では,分散縮小アンサンブル攻撃と呼ばれる新しいアンサンブル攻撃法を提案する。 実験結果から,提案手法は既存のアンサンブル攻撃を著しく上回り,対向移動性を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-11-21T06:33:27Z)
• Multi-granularity Textual Adversarial Attack with Behavior Cloning [4.727534308759158]
  我々は,被害者モデルに対するクエリが少なく,高品質な対数サンプルを生成するためのマルチグラムYアタックモデルMAYAを提案する。 2つの異なるブラックボックス攻撃設定と3つのベンチマークデータセットでBiLSTM,BERT,RoBERTaを攻撃し、攻撃モデルを評価するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2021-09-09T15:46:45Z)
• Training Meta-Surrogate Model for Transferable Adversarial Attack [98.13178217557193]
  クエリーを許可しない場合、ブラックボックスモデルに対する逆攻撃を考える。 この設定では、多くの手法が代理モデルを直接攻撃し、得られた敵の例をターゲットモデルを騙すために転送する。 メタサロゲートモデル(Meta-Surrogate Model:MSM)は,このモデルに対する攻撃が,他のモデルに容易に転送できることを示す。
  論文  参考訳（メタデータ） (2021-09-05T03:27:46Z)
• "What's in the box?!": Deflecting Adversarial Attacks by Randomly Deploying Adversarially-Disjoint Models [71.91835408379602]
  敵の例は長い間、機械学習モデルに対する真の脅威と考えられてきた。 我々は、従来のホワイトボックスやブラックボックスの脅威モデルを超えた、配置ベースの防衛パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-02-09T20:07:13Z)
• Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations [81.82518920087175]
  敵攻撃は、敵の例でディープニューラルネットワークを騙すことを目的としている。 本稿では、攻撃履歴から学習し、より効率的に攻撃を開始することができる強化学習に基づく攻撃モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-19T09:12:24Z)
• Adversarial Imitation Attack [63.76805962712481]
  現実的な敵攻撃は、攻撃されたモデルの知識をできるだけ少なくする必要がある。 現在の代替攻撃では、敵の例を生成するために事前訓練されたモデルが必要である。 本研究では,新たな敵模倣攻撃を提案する。
  論文  参考訳（メタデータ） (2020-03-28T10:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。