論文の概要: Keep on Swimming: Real Attackers Only Need Partial Knowledge of a Multi-Model System
- arxiv url: http://arxiv.org/abs/2410.23483v1
- Date: Wed, 30 Oct 2024 22:23:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:03:50.614301
- Title: Keep on Swimming: Real Attackers Only Need Partial Knowledge of a Multi-Model System
- Title(参考訳): 本物のアタッカーはマルチモデルシステムの部分的知識しか必要としない
- Authors: Julian Collado, Kevin Stangl,
- Abstract要約: 本稿では,マルチモデルシステム全体に対する敵攻撃を行う手法を提案する。
私たちの知る限り、これはこの脅威モデルのために特別に設計された最初の攻撃です。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Recent approaches in machine learning often solve a task using a composition of multiple models or agentic architectures. When targeting a composed system with adversarial attacks, it might not be computationally or informationally feasible to train an end-to-end proxy model or a proxy model for every component of the system. We introduce a method to craft an adversarial attack against the overall multi-model system when we only have a proxy model for the final black-box model, and when the transformation applied by the initial models can make the adversarial perturbations ineffective. Current methods handle this by applying many copies of the first model/transformation to an input and then re-use a standard adversarial attack by averaging gradients, or learning a proxy model for both stages. To our knowledge, this is the first attack specifically designed for this threat model and our method has a substantially higher attack success rate (80% vs 25%) and contains 9.4% smaller perturbations (MSE) compared to prior state-of-the-art methods. Our experiments focus on a supervised image pipeline, but we are confident the attack will generalize to other multi-model settings [e.g. a mix of open/closed source foundation models], or agentic systems
- Abstract(参考訳): 機械学習における最近のアプローチは、しばしば複数のモデルやエージェントアーキテクチャの合成を用いてタスクを解く。
敵攻撃のある合成システムをターゲットにする場合、システムの各コンポーネントに対してエンドツーエンドのプロキシモデルやプロキシモデルをトレーニングすることは、計算的にも情報的にも不可能である。
最終ブラックボックスモデルのためのプロキシモデルしか持たない場合や、初期モデルが適用した変換が逆方向の摂動を効果的にできない場合に、全体マルチモデルシステムに対して逆方向攻撃を行う方法を提案する。
現在の手法では、入力に最初のモデル/トランスフォーメーションのコピーを多く適用し、グラデーションを平均化することで標準的な敵攻撃を再使用したり、両方のステージでプロキシモデルを学習することでこれを処理している。
我々の知る限り、これはこの脅威モデルのために特別に設計された最初の攻撃であり、我々の手法は攻撃成功率(80%対25%)がかなり高く、従来の最先端手法と比較して9.4%小さい摂動(MSE)を含んでいる。
私たちの実験は、教師付きイメージパイプラインに焦点を当てていますが、攻撃が他のマルチモデル設定(例えば、オープン/クローズドソース基盤モデル)やエージェントシステムに一般化されると確信しています。
関連論文リスト
- Learning to Learn Transferable Generative Attack for Person Re-Identification [17.26567195924685]
既存の攻撃は、異なるドメインでトレーニングされたモデルを摂動するクロステスト能力を無視して、クロスデータセットとクロスモデル転送可能性のみを考慮する。
実世界のre-idモデルのロバスト性を調べるために,MTGA法を提案する。
我々のMTGAは平均mAP低下率でSOTA法を21.5%、平均11.3%で上回っている。
論文 参考訳(メタデータ) (2024-09-06T11:57:17Z) - Army of Thieves: Enhancing Black-Box Model Extraction via Ensemble based
sample selection [10.513955887214497]
Model Stealing Attacks (MSA)では、ラベル付きデータセットを構築するために、機械学習モデルを繰り返しクエリされる。
本研究では,泥棒モデルとして深層学習モデルのアンサンブルの利用について検討する。
CIFAR-10データセットでトレーニングしたモデルに対して,従来よりも21%高い逆サンプル転送性を実現する。
論文 参考訳(メタデータ) (2023-11-08T10:31:29Z) - Defense Against Model Extraction Attacks on Recommender Systems [53.127820987326295]
本稿では、モデル抽出攻撃に対するリコメンデータシステムに対する防御のために、グラディエントベースのランキング最適化(GRO)を導入する。
GROは、攻撃者の代理モデルの損失を最大化しながら、保護対象モデルの損失を最小限にすることを目的としている。
その結果,モデル抽出攻撃に対するGROの防御効果は良好であった。
論文 参考訳(メタデータ) (2023-10-25T03:30:42Z) - Frequency Domain Model Augmentation for Adversarial Attack [91.36850162147678]
ブラックボックス攻撃の場合、代用モデルと被害者モデルの間のギャップは通常大きい。
そこで本研究では,通常の訓練モデルと防衛モデルの両方に対して,より伝達可能な対角線モデルを構築するための新しいスペクトルシミュレーション攻撃を提案する。
論文 参考訳(メタデータ) (2022-07-12T08:26:21Z) - Learning to Learn Transferable Attack [77.67399621530052]
転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。
本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。
提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
論文 参考訳(メタデータ) (2021-12-10T07:24:21Z) - Multi-granularity Textual Adversarial Attack with Behavior Cloning [4.727534308759158]
我々は,被害者モデルに対するクエリが少なく,高品質な対数サンプルを生成するためのマルチグラムYアタックモデルMAYAを提案する。
2つの異なるブラックボックス攻撃設定と3つのベンチマークデータセットでBiLSTM,BERT,RoBERTaを攻撃し、攻撃モデルを評価するための総合的な実験を行った。
論文 参考訳(メタデータ) (2021-09-09T15:46:45Z) - Training Meta-Surrogate Model for Transferable Adversarial Attack [98.13178217557193]
クエリーを許可しない場合、ブラックボックスモデルに対する逆攻撃を考える。
この設定では、多くの手法が代理モデルを直接攻撃し、得られた敵の例をターゲットモデルを騙すために転送する。
メタサロゲートモデル(Meta-Surrogate Model:MSM)は,このモデルに対する攻撃が,他のモデルに容易に転送できることを示す。
論文 参考訳(メタデータ) (2021-09-05T03:27:46Z) - Practical No-box Adversarial Attacks against DNNs [31.808770437120536]
我々は、攻撃者がモデル情報やトレーニングセットにアクセスしたり、モデルに問い合わせたりできない、ノンボックスの逆例を調査する。
非常に小さなデータセットでトレーニングを行うための3つのメカニズムを提案し、プロトタイプの再構築が最も効果的であることを示す。
提案手法は, システムの平均予測精度を15.40%に低下させ, 事前学習したArcfaceモデルから, 敵のサンプルを転送する攻撃と同等にする。
論文 参考訳(メタデータ) (2020-12-04T11:10:03Z) - Learning to Attack: Towards Textual Adversarial Attacking in Real-world
Situations [81.82518920087175]
敵攻撃は、敵の例でディープニューラルネットワークを騙すことを目的としている。
本稿では、攻撃履歴から学習し、より効率的に攻撃を開始することができる強化学習に基づく攻撃モデルを提案する。
論文 参考訳(メタデータ) (2020-09-19T09:12:24Z) - DaST: Data-free Substitute Training for Adversarial Attacks [55.76371274622313]
本研究では,敵対的ブラックボックス攻撃の代替モデルを得るためのデータフリー代替訓練法(DaST)を提案する。
これを実現するため、DaSTは特別に設計されたGANを用いて代替モデルを訓練する。
実験では、代替モデルがベースラインモデルと比較して競争性能を発揮することを示した。
論文 参考訳(メタデータ) (2020-03-28T04:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。