論文の概要: Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2405.01460v2
• Date: Mon, 6 May 2024 06:50:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 12:26:52.104482
• Title: Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders
• Title（参考訳）: レート制約付き変分オートエンコーダによる未学習例の精製
• Authors: Yi Yu, Yufei Wang, Song Xia, Wenhan Yang, Shijian Lu, Yap-Peng Tan, Alex C. Kot,
• Abstract要約: 未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
• 参考スコア（独自算出の注目度）: 101.42201747763178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unlearnable examples (UEs) seek to maximize testing error by making subtle modifications to training examples that are correctly labeled. Defenses against these poisoning attacks can be categorized based on whether specific interventions are adopted during training. The first approach is training-time defense, such as adversarial training, which can mitigate poisoning effects but is computationally intensive. The other approach is pre-training purification, e.g., image short squeezing, which consists of several simple compressions but often encounters challenges in dealing with various UEs. Our work provides a novel disentanglement mechanism to build an efficient pre-training purification method. Firstly, we uncover rate-constrained variational autoencoders (VAEs), demonstrating a clear tendency to suppress the perturbations in UEs. We subsequently conduct a theoretical analysis for this phenomenon. Building upon these insights, we introduce a disentangle variational autoencoder (D-VAE), capable of disentangling the perturbations with learnable class-wise embeddings. Based on this network, a two-stage purification approach is naturally developed. The first stage focuses on roughly eliminating perturbations, while the second stage produces refined, poison-free results, ensuring effectiveness and robustness across various scenarios. Extensive experiments demonstrate the remarkable performance of our method across CIFAR-10, CIFAR-100, and a 100-class ImageNet-subset. Code is available at https://github.com/yuyi-sd/D-VAE.
• Abstract（参考訳）: 未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 これらの毒殺攻撃に対する防御は、訓練中に特定の介入が採用されたかどうかに基づいて分類することができる。 第一のアプローチは、敵の訓練のような訓練時間防衛であり、毒殺効果を軽減できるが、計算的に集中している。 もうひとつのアプローチは、いくつかの単純な圧縮からなるイメージショート・スクイーズ(画像ショート・スクイーズ)の事前トレーニングである。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。 まず,速度制約付き変分オートエンコーダ(VAE)を明らかにし,UEの摂動を抑制する傾向を示す。 この現象の理論的解析を行う。 これらの知見に基づいて、学習可能なクラスワイド埋め込みで摂動を遠ざける不整形変分オートエンコーダ(D-VAE)を導入する。 このネットワークに基づいて、2段階の浄化手法が自然に開発されている。 第1段階は摂動を大まかに排除することに焦点を当て、第2段階は洗練された無毒な結果をもたらし、様々なシナリオにおける有効性と堅牢性を保証する。 CIFAR-10, CIFAR-100, 100-class ImageNet-subset を用いた大規模実験を行った。 コードはhttps://github.com/yuyi-sd/D-VAE.comで入手できる。

関連論文リスト

• FACTUAL: A Novel Framework for Contrastive Learning Based Robust SAR Image Classification [10.911464455072391]
  FACTUALは、逆行訓練と堅牢なSAR分類のためのコントラストラーニングフレームワークである。 本モデルでは, 洗浄試料の99.7%, 摂動試料の89.6%の精度が得られた。
  論文  参考訳（メタデータ） (2024-04-04T06:20:22Z)
• Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
  ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。 最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。 本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
  論文  参考訳（メタデータ） (2022-08-17T05:49:52Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Diffusion Models for Adversarial Purification [69.1882221038846]
  対人浄化(Adrial purification)とは、生成モデルを用いて敵の摂動を除去する防衛方法の分類である。 そこで我々は,拡散モデルを用いたDiffPureを提案する。 提案手法は,現在の対人訓練および対人浄化方法よりも優れ,最先端の成果を達成する。
  論文  参考訳（メタデータ） (2022-05-16T06:03:00Z)
• Improving Transformation-based Defenses against Adversarial Examples with First-order Perturbations [16.346349209014182]
  研究によると、ニューラルネットワークは敵の攻撃を受けやすい。 これにより、ニューラルネットワークベースのインテリジェントシステムに対する潜在的な脅威が露呈する。 本稿では, 対向性強靭性を改善するために, 対向性摂動に対処する手法を提案する。
  論文  参考訳（メタデータ） (2021-03-08T06:27:24Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)
• Towards Rapid and Robust Adversarial Training with One-Step Attacks [0.0]
  敵の訓練は、敵の攻撃に対するニューラルネットワークの堅牢性を高める最も成功した方法である。 本稿では,計算コストの低いFast Gradient Sign Methodを用いて,敵対的学習を可能にする2つのアイデアを提案する。 FGSMをベースとした対向訓練と併用したノイズ注入は、PGDによる対向訓練に匹敵する結果が得られ、より高速であることを示す。
  論文  参考訳（メタデータ） (2020-02-24T07:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。