Fugu-MT 論文翻訳(概要): Unlearn and Burn: Adversarial Machine Unlearning Requests Destroy Model Accuracy

論文の概要: Unlearn and Burn: Adversarial Machine Unlearning Requests Destroy Model Accuracy

arxiv url: http://arxiv.org/abs/2410.09591v1
Date: Sat, 12 Oct 2024 16:47:04 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 13:35:29.826887
Title: Unlearn and Burn: Adversarial Machine Unlearning Requests Destroy Model Accuracy
Title（参考訳）: Unlearn and Burn: 敵マシンのアンラーニング要求がモデル精度を低下させる
Authors: Yangsibo Huang, Daogao Liu, Lynn Chua, Badih Ghazi, Pritish Kamath, Ravi Kumar, Pasin Manurangsi, Milad Nasr, Amer Sinha, Chiyuan Zhang,
Abstract要約: 未学習システムのデプロイにおいて、重要で未調査の脆弱性を公開しています。本稿では,訓練セットに存在しないデータに対して,逆学習要求を送信することにより,攻撃者がモデル精度を劣化させることができる脅威モデルを提案する。我々は、未学習要求の正当性を検出するための様々な検証メカニズムを評価し、検証の課題を明らかにする。
参考スコア（独自算出の注目度）: 65.80757820884476
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine unlearning algorithms, designed for selective removal of training data from models, have emerged as a promising approach to growing privacy concerns. In this work, we expose a critical yet underexplored vulnerability in the deployment of unlearning systems: the assumption that the data requested for removal is always part of the original training set. We present a threat model where an attacker can degrade model accuracy by submitting adversarial unlearning requests for data not present in the training set. We propose white-box and black-box attack algorithms and evaluate them through a case study on image classification tasks using the CIFAR-10 and ImageNet datasets, targeting a family of widely used unlearning methods. Our results show extremely poor test accuracy following the attack: 3.6% on CIFAR-10 and 0.4% on ImageNet for white-box attacks, and 8.5% on CIFAR-10 and 1.3% on ImageNet for black-box attacks. Additionally, we evaluate various verification mechanisms to detect the legitimacy of unlearning requests and reveal the challenges in verification, as most of the mechanisms fail to detect stealthy attacks without severely impairing their ability to process valid requests. These findings underscore the urgent need for research on more robust request verification methods and unlearning protocols, should the deployment of machine unlearning systems become more prevalent in the future.
Abstract（参考訳）: モデルからトレーニングデータを選択的に除去するために設計された機械学習アルゴリズムは、プライバシー上の懸念を増すための有望なアプローチとして登場した。この研究では、未学習システムのデプロイにおいて、重要で未調査の脆弱性を明らかにする。削除要求されたデータが、常に元のトレーニングセットの一部であるという仮定だ。本稿では,訓練セットに存在しないデータに対して,逆学習要求を送信することにより,攻撃者がモデル精度を劣化させることができる脅威モデルを提案する。我々は,CIFAR-10とImageNetデータセットを用いた画像分類タスクのケーススタディを通じて,ホワイトボックスとブラックボックス攻撃アルゴリズムを提案し,それらを評価した。 CIFAR-10が3.6%、ImageNetが0.4%、CIFAR-10が8.5%、ImageNetが1.3%である。さらに、未学習要求の正当性を検出するための様々な検証機構を評価し、検証の課題を明らかにし、ほとんどのメカニズムは、有効な要求を処理する能力を著しく損なうことなく、ステルス攻撃を検知できないため、検証の課題を明らかにする。これらの知見は、マシンアンラーニングシステムのデプロイが将来的により普及すれば、より堅牢な要求検証方法や未学習プロトコルの研究が緊急に必要になることを示している。

関連論文リスト

Undermining Image and Text Classification Algorithms Using Adversarial Attacks [0.0]
本研究は,各種機械学習モデルを訓練し,GANとSMOTEを用いてテキスト分類モデルへの攻撃を目的とした追加データポイントを生成することにより,そのギャップを解消する。実験の結果,分類モデルの重大な脆弱性が明らかとなった。特に,攻撃後の最上位のテキスト分類モデルの精度が20%低下し,顔認識精度が30%低下した。
論文参考訳（メタデータ） (2024-11-03T18:44:28Z)
Verification of Machine Unlearning is Fragile [48.71651033308842]
両タイプの検証戦略を回避できる2つの新しい非学習プロセスを導入する。この研究は、機械学習検証の脆弱性と限界を強調し、機械学習の安全性に関するさらなる研究の道を開く。
論文参考訳（メタデータ） (2024-08-01T21:37:10Z)
Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
論文参考訳（メタデータ） (2024-07-26T10:49:14Z)
Gone but Not Forgotten: Improved Benchmarks for Machine Unlearning [0.0]
本稿では,機械学習アルゴリズムの代替評価手法について記述し,提案する。我々は、さまざまなコンピュータビジョンデータセット上で、最先端の未学習アルゴリズムの一連の実験を通して、代替評価の有用性を示す。
論文参考訳（メタデータ） (2024-05-29T15:53:23Z)
Learn What You Want to Unlearn: Unlearning Inversion Attacks against Machine Unlearning [16.809644622465086]
我々は、機械学習が未学習データの機密内容を漏洩させる範囲を理解するために、最初の調査を行う。機械学習・アズ・ア・サービス・セッティングの下で、未学習サンプルの特徴とラベル情報を明らかにするアンラーニング・インバージョン・アタックを提案する。実験結果から,提案攻撃は未学習データのセンシティブな情報を明らかにすることができることが示された。
論文参考訳（メタデータ） (2024-04-04T06:37:46Z)
Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文参考訳（メタデータ） (2023-11-29T05:33:28Z)
Query Efficient Cross-Dataset Transferable Black-Box Attack on Action Recognition [99.29804193431823]
ブラックボックスの敵攻撃は、行動認識システムに現実的な脅威をもたらす。本稿では,摂動を発生させることにより,これらの欠点に対処する新たな行動認識攻撃を提案する。提案手法は,最先端のクエリベースおよび転送ベース攻撃と比較して,8%,12%の偽装率を達成する。
論文参考訳（メタデータ） (2022-11-23T17:47:49Z)
Query Efficient Decision Based Sparse Attacks Against Black-Box Deep Learning Models [9.93052896330371]
本研究では,進化型アルゴリズムであるSparseEvoを開発し,畳み込み型深層ニューラルネットワークと視覚変換器の両方に対して評価する。 SparseEvoは、未ターゲットとターゲットの両方の攻撃に対して、最先端のスパース攻撃よりもはるかに少ないモデルクエリを必要とする。重要なことは、クエリ効率のよいSparseEvoと意思決定ベースの攻撃は、一般的に、デプロイされたシステムの安全性に関する新しい疑問を提起する。
論文参考訳（メタデータ） (2022-01-31T21:10:47Z)
How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文参考訳（メタデータ） (2020-12-02T15:30:21Z)
Leveraging Siamese Networks for One-Shot Intrusion Detection Model [0.0]
侵入検知システムを強化するための機械学習(ML)が重要な研究対象となっている。モデルの再トレーニングは、十分な量のデータを取得するのに必要なタイムウインドウのために、ネットワークが攻撃を受けやすいようにする。ここでは、「ワンショットラーニング」と呼ばれる補完的なアプローチで、新しい攻撃クラスを識別するために、新しい攻撃クラスの限られた例を用いる。 Siamese Networkは、機能ではなく、ペアの類似性に基づいてクラスを区別するように訓練されており、新しい、以前は目に見えない攻撃を識別することができる。
論文参考訳（メタデータ） (2020-06-27T11:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。