論文の概要: FedMUA: Exploring the Vulnerabilities of Federated Learning to Malicious Unlearning Attacks

• arxiv url: http://arxiv.org/abs/2501.11848v1
• Date: Tue, 21 Jan 2025 03:07:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:18:57.123317
• Title: FedMUA: Exploring the Vulnerabilities of Federated Learning to Malicious Unlearning Attacks
• Title（参考訳）: FedMUA: 不正な未学習攻撃に対するフェデレートラーニングの脆弱性を探る
• Authors: Jian Chen, Zehui Lin, Wanyu Lin, Wenlong Shi, Xiaoyan Yin, Di Wang,
• Abstract要約: 我々は、FedMUAと呼ばれる新しい悪意ある未学習攻撃を導入する。 我々は,FedMUAが対象サンプルの誤分類を誘発し,80%の攻撃成功率が得られることを示した。
• 参考スコア（独自算出の注目度）: 17.74292717846646
• License:
• Abstract: Recently, the practical needs of ``the right to be forgotten'' in federated learning gave birth to a paradigm known as federated unlearning, which enables the server to forget personal data upon the client's removal request. Existing studies on federated unlearning have primarily focused on efficiently eliminating the influence of requested data from the client's model without retraining from scratch, however, they have rarely doubted the reliability of the global model posed by the discrepancy between its prediction performance before and after unlearning. To bridge this gap, we take the first step by introducing a novel malicious unlearning attack dubbed FedMUA, aiming to unveil potential vulnerabilities emerging from federated learning during the unlearning process. The crux of FedMUA is to mislead the global model into unlearning more information associated with the influential samples for the target sample than anticipated, thus inducing adverse effects on target samples from other clients. To achieve this, we design a novel two-step method, known as Influential Sample Identification and Malicious Unlearning Generation, to identify and subsequently generate malicious feature unlearning requests within the influential samples. By doing so, we can significantly alter the predictions pertaining to the target sample by initiating the malicious feature unlearning requests, leading to the deliberate manipulation for the user adversely. Additionally, we design a new defense mechanism that is highly resilient against malicious unlearning attacks. Extensive experiments on three realistic datasets reveal that FedMUA effectively induces misclassification on target samples and can achieve an 80% attack success rate by triggering only 0.3% malicious unlearning requests.
• Abstract（参考訳）: 近年,フェデレーション学習における「忘れられる権利」の実践的ニーズは,フェデレーション・アンラーニング(Federated unlearning)と呼ばれるパラダイムを生み出した。 既存のフェデレート・アンラーニングの研究は、主にスクラッチからトレーニングすることなくクライアントのモデルから要求されたデータの影響を効率的に除去することに重点を置いているが、学習前後の予測性能の相違によるグローバルモデルの信頼性を疑うことは稀である。 このギャップを埋めるために、我々はFedMUAと呼ばれる新たな悪意ある未学習攻撃を導入し、未学習プロセス中にフェデレート学習から生じる潜在的な脆弱性を明らかにすることを目的として第一歩を踏み出した。 FedMUAの要点は、世界的なモデルを誤解して、対象サンプルの影響力のあるサンプルに関連する情報を予想以上に学習させることで、他の顧客からのターゲットサンプルに悪影響を及ぼすことである。 そこで本研究では,インフルエンシャルサンプル識別と悪性未学習生成と呼ばれる新しい2段階の手法を設計し,その中に悪意のある特徴未学習要求を識別し,生成する。 これにより、悪意のある機能の未学習要求を開始することで、ターゲットサンプルに関する予測を著しく変更することが可能となり、ユーザに対する意図的な操作が悪くなる。 さらに、悪意ある未学習攻撃に対して高い耐性を持つ新しい防御機構を設計する。 3つの現実的なデータセットに対する大規模な実験により、FedMUAはターゲットサンプルの誤分類を効果的に誘導し、悪意のある未学習要求をわずか0.3%引き起こすことで80%の攻撃成功率を達成することが判明した。

関連論文リスト

• UnStar: Unlearning with Self-Taught Anti-Sample Reasoning for LLMs [10.335361310419826]
  大規模言語モデル(LLM)のための自己学習アンチサンプル推論を用いたアンラーニング(UnSTAR)について紹介する。 まず, 反サンプルによる非学習という新しい概念を提案し, 第二に, 誤解を招く合理性を活用して反サンプルを生成することにより, 関連性を逆転させ, 未学習プロセスを加速させる。 結果は、アンチサンプルがLLMに対して効率的でターゲットの未学習戦略を提供し、プライバシ保護機械学習とモデル修正のための新たな道を開くことを実証している。
  論文  参考訳（メタデータ） (2024-10-22T14:30:03Z)
• Learn What You Want to Unlearn: Unlearning Inversion Attacks against Machine Unlearning [16.809644622465086]
  我々は、機械学習が未学習データの機密内容を漏洩させる範囲を理解するために、最初の調査を行う。 機械学習・アズ・ア・サービス・セッティングの下で、未学習サンプルの特徴とラベル情報を明らかにするアンラーニング・インバージョン・アタックを提案する。 実験結果から,提案攻撃は未学習データのセンシティブな情報を明らかにすることができることが示された。
  論文  参考訳（メタデータ） (2024-04-04T06:37:46Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• Re-thinking Data Availablity Attacks Against Deep Neural Networks [53.64624167867274]
  本稿では、未学習例の概念を再検討し、既存のロバストな誤り最小化ノイズが不正確な最適化目標であることを示す。 本稿では,計算時間要件の低減による保護性能の向上を図った新しい最適化パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-18T04:03:51Z)
• Learning to Learn Transferable Attack [77.67399621530052]
  転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。 本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。 提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
  論文  参考訳（メタデータ） (2021-12-10T07:24:21Z)
• Adversarial Targeted Forgetting in Regularization and Generative Based Continual Learning Models [2.8021833233819486]
  継続的(あるいはインクリメンタル)な学習アプローチは、その後のバッチやストリーミングデータから追加の知識やタスクを学ぶ必要がある場合に使用される。 知的敵は、既存の知識を時間とともに保持する連続学習アルゴリズムの能力を活用できることを示す。 敵は、そのタスクのテストインスタンスに慎重に設計されたバックドアサンプルを挿入することで、任意のタスクについて「偽のメモリ」を作成できることを示します。
  論文  参考訳（メタデータ） (2021-02-16T18:45:01Z)
• Curse or Redemption? How Data Heterogeneity Affects the Robustness of Federated Learning [51.15273664903583]
  データの不均一性は、フェデレートラーニングにおける重要な特徴の1つとして認識されているが、しばしば敵対的攻撃に対する堅牢性のレンズで見過ごされる。 本稿では, 複合学習におけるバックドア攻撃の影響を, 総合的な実験を通じて評価し, 理解することを目的とした。
  論文  参考訳（メタデータ） (2021-02-01T06:06:21Z)
• Auto-weighted Robust Federated Learning with Corrupted Data Sources [7.475348174281237]
  フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。 平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。 破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
  論文  参考訳（メタデータ） (2021-01-14T21:54:55Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)
• Targeted Forgetting and False Memory Formation in Continual Learners through Adversarial Backdoor Attacks [2.830541450812474]
  破滅的な忘れ物を避けるために,一般的な連続学習アルゴリズムであるElastic Weight Consolidation (EWC)の脆弱性について検討する。 知的敵は、EWCの防御を回避でき、訓練中に少量の誤報をモデルに導入することで、段階的かつ故意に忘れることを引き起こす。 MNISTデータセットの置換型と分割型の両方に"バックドア"攻撃サンプルを注入することで、モデルの制御を前提とする敵の能力を実証する。
  論文  参考訳（メタデータ） (2020-02-17T18:13:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。