論文の概要: Fragile Giants: Understanding the Susceptibility of Models to Subpopulation Attacks

• arxiv url: http://arxiv.org/abs/2410.08872v1
• Date: Fri, 11 Oct 2024 14:48:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 21:26:05.867025
• Title: Fragile Giants: Understanding the Susceptibility of Models to Subpopulation Attacks
• Title（参考訳）: フラジル・ジャイアンツ : サブポピュレーション・アタックに対するモデルの感受性を理解する
• Authors: Isha Gupta, Hidde Lycklama, Emanuel Opel, Evan Rose, Anwar Hithnawi,
• Abstract要約: モデル複雑性がサブポピュレーション中毒に対する感受性にどのように影響するかを検討する。 以上の結果から,より多くのパラメータを持つモデルがサブポピュレーション中毒に対して有意に脆弱であることが示唆された。 これらの結果は、サブポピュレーションの脆弱性に対処する防衛を開発する必要性を強調している。
• 参考スコア（独自算出の注目度）: 2.7016591543910717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine learning models become increasingly complex, concerns about their robustness and trustworthiness have become more pressing. A critical vulnerability of these models is data poisoning attacks, where adversaries deliberately alter training data to degrade model performance. One particularly stealthy form of these attacks is subpopulation poisoning, which targets distinct subgroups within a dataset while leaving overall performance largely intact. The ability of these attacks to generalize within subpopulations poses a significant risk in real-world settings, as they can be exploited to harm marginalized or underrepresented groups within the dataset. In this work, we investigate how model complexity influences susceptibility to subpopulation poisoning attacks. We introduce a theoretical framework that explains how overparameterized models, due to their large capacity, can inadvertently memorize and misclassify targeted subpopulations. To validate our theory, we conduct extensive experiments on large-scale image and text datasets using popular model architectures. Our results show a clear trend: models with more parameters are significantly more vulnerable to subpopulation poisoning. Moreover, we find that attacks on smaller, human-interpretable subgroups often go undetected by these models. These results highlight the need to develop defenses that specifically address subpopulation vulnerabilities.
• Abstract（参考訳）: 機械学習モデルがますます複雑化するにつれ、その堅牢性や信頼性に対する懸念がますます強まっている。 これらのモデルの重大な脆弱性はデータ中毒攻撃であり、敵は意図的にトレーニングデータを変更してモデルのパフォーマンスを低下させる。 これらの攻撃の特にステルスな形態の1つはサブポピュレーション中毒であり、データセット内の異なるサブグループを対象としており、全体的なパフォーマンスはほぼ無傷である。 これらの攻撃がサブポピュレーション内で一般化する能力は、データセット内の疎外されたグループや疎外されたグループに悪影響を及ぼすため、現実世界の設定において重大なリスクをもたらす。 本研究では,モデル複雑性がサブポピュレーション中毒に対する感受性にどのように影響するかを検討する。 我々は,過パラメータ化モデルが大容量であるため,不注意に記憶し,対象のサブポピュレーションを誤って分類する方法を説明する理論的枠組みを導入する。 提案理論を検証するため,一般的なモデルアーキテクチャを用いた大規模画像およびテキストデータセットの広範な実験を行った。 以上のパラメータを持つモデルでは, サブポピュレーション中毒に対して有意に脆弱である。 さらに、より小さな人間の解釈可能なサブグループに対する攻撃は、これらのモデルによって検出されないことが多い。 これらの結果は、サブポピュレーションの脆弱性に対処する防衛を開発する必要性を強調している。

関連論文リスト

• From Attack to Defense: Insights into Deep Learning Security Measures in Black-Box Settings [1.8006345220416338]
  敵のサンプルは深刻な脅威となり、モデルがそのようなアプリケーションの性能を誤解し、損なう可能性がある。 ディープラーニングモデルの堅牢性に対処することは、敵の攻撃を理解し防御するために重要になっている。 我々の研究は、SimBA、HopSkipJump、MGAAttack、境界攻撃などのブラックボックス攻撃、およびプリプロセッサベースの防御機構に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-03T09:40:47Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Understanding Variation in Subpopulation Susceptibility to Poisoning Attacks [9.977765534931596]
  異なるサブポピュレーションに対する最先端の毒殺攻撃の有効性について検討した。 データセット分離性は、より分離性の低いデータセットのサブポピュレーション脆弱性において重要な役割を果たす。 クリーンモデルとターゲットモデルとのクリーンデータセットの損失差により、重要なサブポピュレーション特性をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T05:35:40Z)
• OMG-ATTACK: Self-Supervised On-Manifold Generation of Transferable Evasion Attacks [17.584752814352502]
  Evasion Attacks (EA) は、入力データを歪ませることで、トレーニングされたニューラルネットワークの堅牢性をテストするために使用される。 本稿では, 自己教師型, 計算的経済的な手法を用いて, 対逆例を生成する手法を提案する。 我々の実験は、この手法が様々なモデル、目に見えないデータカテゴリ、さらには防御されたモデルで有効であることを一貫して実証している。
  論文  参考訳（メタデータ） (2023-10-05T17:34:47Z)
• Isolation and Induction: Training Robust Deep Neural Networks against Model Stealing Attacks [51.51023951695014]
  既存のモデル盗難防衛は、被害者の後部確率に偽りの摂動を加え、攻撃者を誤解させる。 本稿では,モデルステルス防衛のための新規かつ効果的なトレーニングフレームワークである分離誘導(InI)を提案する。 モデルの精度を損なうモデル予測に摂動を加えるのとは対照的に、我々はモデルを訓練して、盗むクエリに対して非形式的なアウトプットを生成する。
  論文  参考訳（メタデータ） (2023-08-02T05:54:01Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models [11.842337448801066]
  本稿では,様々なメンバーシップ推論攻撃と防衛の大規模測定を行う。 脅威モデル(例えば、同一構造や、シャドーモデルとターゲットモデルとの同一分布)のいくつかの仮定は不要である。 また、実験室のデータセットではなく、インターネットから収集された実世界のデータに対する攻撃を最初に実施しました。
  論文  参考訳（メタデータ） (2022-08-22T17:00:53Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)
• ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
  機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。 私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。 私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
  論文  参考訳（メタデータ） (2021-02-04T11:35:13Z)
• Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations [81.82518920087175]
  敵攻撃は、敵の例でディープニューラルネットワークを騙すことを目的としている。 本稿では、攻撃履歴から学習し、より効率的に攻撃を開始することができる強化学習に基づく攻撃モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-19T09:12:24Z)
• Subpopulation Data Poisoning Attacks [18.830579299974072]
  機械学習に対する攻撃は、機械学習アルゴリズムが使用するデータの逆修正を誘導し、デプロイ時に出力を選択的に変更する。 本研究では,エフェサブポピュレーションアタック(emphsubpopulation attack)と呼ばれる新たなデータ中毒攻撃を導入する。 サブポピュレーション攻撃のためのモジュラーフレームワークを設計し、異なるビルディングブロックでインスタンス化し、その攻撃がさまざまなデータセットや機械学習モデルに有効であることを示す。
  論文  参考訳（メタデータ） (2020-06-24T20:20:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。