論文の概要: Deferred Poisoning: Making the Model More Vulnerable via Hessian Singularization

• arxiv url: http://arxiv.org/abs/2411.03752v2
• Date: Wed, 04 Dec 2024 15:53:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:05:56.894046
• Title: Deferred Poisoning: Making the Model More Vulnerable via Hessian Singularization
• Title（参考訳）: Deferred Poisoning: Hessian Singularizationによるモデルの脆弱性化
• Authors: Yuhao He, Jinyu Tian, Xianwei Zheng, Li Dong, Yuanman Li, Jiantao Zhou,
• Abstract要約: 我々は、より脅迫的なタイプの毒殺攻撃(Dederred Poisoning Attack)を導入する。 この新たな攻撃により、モデルは通常、トレーニングと検証フェーズで機能するが、回避攻撃や自然騒音に非常に敏感になる。 提案手法の理論的および実証的な解析を行い、画像分類タスクの実験を通してその効果を検証した。
• 参考スコア（独自算出の注目度）: 36.13844441263675
• License:
• Abstract: Recent studies have shown that deep learning models are very vulnerable to poisoning attacks. Many defense methods have been proposed to address this issue. However, traditional poisoning attacks are not as threatening as commonly believed. This is because they often cause differences in how the model performs on the training set compared to the validation set. Such inconsistency can alert defenders that their data has been poisoned, allowing them to take the necessary defensive actions. In this paper, we introduce a more threatening type of poisoning attack called the Deferred Poisoning Attack. This new attack allows the model to function normally during the training and validation phases but makes it very sensitive to evasion attacks or even natural noise. We achieve this by ensuring the poisoned model's loss function has a similar value as a normally trained model at each input sample but with a large local curvature. A similar model loss ensures that there is no obvious inconsistency between the training and validation accuracy, demonstrating high stealthiness. On the other hand, the large curvature implies that a small perturbation may cause a significant increase in model loss, leading to substantial performance degradation, which reflects a worse robustness. We fulfill this purpose by making the model have singular Hessian information at the optimal point via our proposed Singularization Regularization term. We have conducted both theoretical and empirical analyses of the proposed method and validated its effectiveness through experiments on image classification tasks. Furthermore, we have confirmed the hazards of this form of poisoning attack under more general scenarios using natural noise, offering a new perspective for research in the field of security.
• Abstract（参考訳）: 近年の研究では、深層学習モデルは中毒攻撃に対して非常に脆弱であることが示されている。 この問題に対処するために多くの防衛手法が提案されている。 しかし、伝統的な毒殺は一般的に信じられているほど脅威ではない。 これは、モデルがトレーニングセットでどのように機能するかをバリデーションセットと比較した場合、しばしば違いを引き起こすためです。 このような不整合は、データを毒殺したことを被告に警告し、必要な防御措置を取ることができる。 本稿では,より脅迫的なタイプの毒殺攻撃であるDedeerred Poisoning Attackを紹介する。 この新たな攻撃により、モデルは通常、トレーニングと検証フェーズで機能するが、回避攻撃や自然騒音に非常に敏感になる。 本手法は, 有毒モデル損失関数が各試料において, 局所曲率が大きく, 正常に訓練されたモデルと類似した値を持つことを保証して実現した。 同様のモデル損失は、トレーニングとバリデーションの正確性の間に明らかな矛盾がないことを保証し、高いステルス性を示す。 一方、大きな曲率では、小さな摂動によってモデル損失が著しく増加し、性能が著しく低下し、さらに強靭性が低下する可能性がある。 この目的を達成するために、提案した特異化正規化項を介して最適点における特異なヘッセン情報をモデルに持つ。 提案手法の理論的および実証的な解析を行い、画像分類タスクの実験を通してその効果を検証した。 さらに、自然騒音を用いたより一般的なシナリオにおいて、このような中毒攻撃の危険性を確認し、セキュリティ分野の研究の新たな視点を提供する。

関連論文リスト

• RECESS Vaccine for Federated Learning: Proactive Defense Against Model Poisoning Attacks [20.55681622921858]
  モデル中毒は、フェデレートラーニング(FL)の適用を著しく阻害する 本研究では,モデル中毒に対するRECESSという新しいプロアクティブ・ディフェンスを提案する。 各イテレーションをスコアする従来の方法とは異なり、RECESSはクライアントのパフォーマンス相関を複数のイテレーションで考慮し、信頼スコアを見積もる。
  論文  参考訳（メタデータ） (2023-10-09T06:09:01Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Sharpness-Aware Data Poisoning Attack [38.01535347191942]
  最近の研究は、データ中毒攻撃に対するディープニューラルネットワーク(DNN)の脆弱性を強調している。 我々は「SAPA(シャープネス・アウェア・データ・ポジショニング・アタック)」と呼ばれる新たな攻撃方法を提案する。 特に、DNNの損失ランドスケープシャープネスの概念を活用して、最悪の再訓練モデルに対する中毒効果を最適化する。
  論文  参考訳（メタデータ） (2023-05-24T08:00:21Z)
• Pick your Poison: Undetectability versus Robustness in Data Poisoning Attacks [33.82164201455115]
  大量のWebスクラッドデータに基づいてトレーニングされた深層画像分類モデルは、データ中毒の影響を受けやすい。 既存の作業は、効果的な防御を、(i)修理によってモデルの整合性を回復するか、(ii)攻撃を検出するものと見なしている。 我々は、このアプローチが重要なトレードオフを見落としていると論じている。攻撃者は、検知可能性(過剰投下)を犠牲にして増加したり、ロバスト性(過密投下)を犠牲にして検出可能性を減らすことができる。
  論文  参考訳（メタデータ） (2023-05-07T15:58:06Z)
• Indiscriminate Poisoning Attacks Are Shortcuts [77.38947817228656]
  その結果, 標的ラベルを付与した場合, 進行性毒素攻撃の摂動は, ほぼ分離可能であることがわかった。 このような合成摂動は、故意に作られた攻撃と同じくらい強力であることを示す。 我々の発見は、アンフショートカット学習の問題が以前考えられていたよりも深刻であることを示唆している。
  論文  参考訳（メタデータ） (2021-11-01T12:44:26Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
  Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。 我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。 フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
  論文  参考訳（メタデータ） (2020-09-04T16:17:54Z)
• Model-Targeted Poisoning Attacks with Provable Convergence [19.196295769662186]
  中毒攻撃では、トレーニングデータのごく一部を制御している敵が、破損したモデルを誘導する方法で、そのデータを選択しようとする。 我々は,凸機械学習モデルに対する中毒攻撃について検討し,特定のモデルを誘導する効率的な中毒攻撃を提案する。
  論文  参考訳（メタデータ） (2020-06-30T01:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。