論文の概要: BadGD: A unified data-centric framework to identify gradient descent vulnerabilities
- arxiv url: http://arxiv.org/abs/2405.15979v1
- Date: Fri, 24 May 2024 23:39:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 01:49:07.202913
- Title: BadGD: A unified data-centric framework to identify gradient descent vulnerabilities
- Title（参考訳）: BadGD: 勾配降下脆弱性を識別するための統合データ中心フレームワーク
- Authors: Chi-Hua Wang, Guang Cheng,
- Abstract要約: BadGDは、敵の操作を理解し緩和するための新しい標準を設定している。
この研究は、このようなデータ中心の攻撃によって引き起こされる深刻な脅威を強調し、機械学習における堅牢な防御の必要性を強調している。
- 参考スコア（独自算出の注目度）: 10.996626204702189
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present BadGD, a unified theoretical framework that exposes the vulnerabilities of gradient descent algorithms through strategic backdoor attacks. Backdoor attacks involve embedding malicious triggers into a training dataset to disrupt the model's learning process. Our framework introduces three novel constructs: Max RiskWarp Trigger, Max GradWarp Trigger, and Max GradDistWarp Trigger, each designed to exploit specific aspects of gradient descent by distorting empirical risk, deterministic gradients, and stochastic gradients respectively. We rigorously define clean and backdoored datasets and provide mathematical formulations for assessing the distortions caused by these malicious backdoor triggers. By measuring the impact of these triggers on the model training procedure, our framework bridges existing empirical findings with theoretical insights, demonstrating how a malicious party can exploit gradient descent hyperparameters to maximize attack effectiveness. In particular, we show that these exploitations can significantly alter the loss landscape and gradient calculations, leading to compromised model integrity and performance. This research underscores the severe threats posed by such data-centric attacks and highlights the urgent need for robust defenses in machine learning. BadGD sets a new standard for understanding and mitigating adversarial manipulations, ensuring the reliability and security of AI systems.
- Abstract（参考訳）: 我々は,戦略的バックドア攻撃による勾配降下アルゴリズムの脆弱性を明らかにする統一理論フレームワークであるBadGDを提案する。
バックドア攻撃では、悪意のあるトリガーをトレーニングデータセットに埋め込んで、モデルの学習プロセスを妨害する。
我々のフレームワークでは, 最大リスクワープ・トリガー, Max GradWarp Trigger, Max GradDistWarp Triggerの3つの新しい構造を導入している。
クリーンでバックドアのデータセットを厳格に定義し、悪質なバックドアトリガーによる歪みを評価する数学的定式化を提供する。
これらのトリガがモデルトレーニング手順に与える影響を計測することにより、我々のフレームワークは既存の経験的知見を理論的知見で橋渡しし、悪意ある者が勾配降下ハイパーパラメータをいかに活用して攻撃効果を最大化できるかを実証する。
特に,これらの手法により損失景観や勾配の計算が大幅に変化し,モデルの整合性と性能が損なわれることを示す。
この研究は、このようなデータ中心の攻撃によって引き起こされる深刻な脅威を強調し、機械学習における堅牢な防御の必要性を強調している。
BadGDは、AIシステムの信頼性とセキュリティを確保するために、敵の操作を理解し緩和するための新しい標準を設定している。
関連論文リスト
- DeTrigger: A Gradient-Centric Approach to Backdoor Attack Mitigation in Federated Learning [4.932796168357307]
Federated Learning(FL)は、ローカルデータのプライバシを保持しながら、分散デバイス間の協調的なモデルトレーニングを可能にする。
しかし、FLの分散された性質は、特にバックドアアタックをモデル化するための脆弱性も開放する。
DeTriggerは、スケーラブルで効率的なバックドアロバストなフェデレーション学習フレームワークである。
論文 参考訳（メタデータ） (2024-11-19T04:12:14Z) - Certified Robustness to Data Poisoning in Gradient-Based Training [10.79739918021407]
我々は、潜在的に操作されたデータでトレーニングされたモデルの振る舞いを証明可能な保証を提供する最初のフレームワークを開発する。
我々の枠組みは、標的外および標的の毒、およびバックドア攻撃に対する堅牢性を証明している。
我々は、エネルギー消費、医療画像、自律運転などの応用から、複数の実世界のデータセットに対するアプローチを実証する。
論文 参考訳（メタデータ） (2024-06-09T06:59:46Z) - Mellivora Capensis: A Backdoor-Free Training Framework on the Poisoned Dataset without Auxiliary Data [29.842087372804905]
本稿では,現実シナリオにおけるバックドア攻撃対策の課題について述べる。
本稿では,モデルトレーナーが有毒なデータセット上でクリーンなモデルをトレーニングできるようにする,堅牢でクリーンなデータのないバックドア防御フレームワークであるMellivora Capensis(textttMeCa)を提案する。
論文 参考訳（メタデータ） (2024-05-21T12:20:19Z) - Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。
バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む
我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文 参考訳（メタデータ） (2024-03-24T18:33:15Z) - Model X-ray:Detecting Backdoored Models via Decision Boundary [62.675297418960355]
バックドア攻撃はディープニューラルネットワーク(DNN)に重大な脆弱性をもたらす
図形化された2次元(2次元)決定境界の解析に基づく新しいバックドア検出手法であるモデルX線を提案する。
提案手法は,クリーンサンプルが支配する意思決定領域とラベル分布の集中度に着目した2つの戦略を含む。
論文 参考訳（メタデータ） (2024-02-27T12:42:07Z) - A Theoretical Insight into Attack and Defense of Gradient Leakage in
Transformer [11.770915202449517]
グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。
本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
論文 参考訳（メタデータ） (2023-11-22T09:58:01Z) - Refiner: Data Refining against Gradient Leakage Attacks in Federated
Learning [28.76786159247595]
グラデーションリーク攻撃は クライアントのアップロードした勾配を利用して 機密データを再構築する
本稿では,従来の勾配摂動から分離した新しい防御パラダイムについて検討する。
プライバシ保護とパフォーマンス維持のための2つのメトリクスを共同で最適化するRefinerを設計する。
論文 参考訳（メタデータ） (2022-12-05T05:36:15Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳（メタデータ） (2022-10-23T22:24:03Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳（メタデータ） (2020-12-02T15:30:21Z) - Graph Backdoor [53.70971502299977]
GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。
GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。
トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
論文 参考訳（メタデータ） (2020-06-21T19:45:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。