論文の概要: Releasing Inequality Phenomena in $L_{\infty}$-Adversarial Training via Input Gradient Distillation

• arxiv url: http://arxiv.org/abs/2305.09305v2
• Date: Wed, 17 May 2023 15:03:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-05-18 11:31:15.014849
• Title: Releasing Inequality Phenomena in $L_{\infty}$-Adversarial Training via Input Gradient Distillation
• Title（参考訳）: 入力勾配蒸留によるl_{\infty}$-adversarial trainingにおける不等式現象の放出
• Authors: Junxi Chen, Junhao Dong, Xiaohua Xie
• Abstract要約: 本稿では,l_infty$-adversarial training において不等式を解放する IGD (Input Gradient Distillation) という簡単な方法を提案する。 実験の結果、IGD は $l_infty$-adversarially のモデルの誤差率を 60% から 16.53% まで下げ、Imagenet-C のノイズの多い画像は 21.11% まで下げた。
• 参考スコア（独自算出の注目度）: 25.114226103863487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since adversarial examples appeared and showed the catastrophic degradation they brought to DNN, many adversarial defense methods have been devised, among which adversarial training is considered the most effective. However, a recent work showed the inequality phenomena in $l_{\infty}$-adversarial training and revealed that the $l_{\infty}$-adversarially trained model is vulnerable when a few important pixels are perturbed by i.i.d. noise or occluded. In this paper, we propose a simple yet effective method called Input Gradient Distillation (IGD) to release the inequality phenomena in $l_{\infty}$-adversarial training. Experiments show that while preserving the model's adversarial robustness, compared to PGDAT, IGD decreases the $l_{\infty}$-adversarially trained model's error rate to inductive noise and inductive occlusion by up to 60\% and 16.53\%, and to noisy images in Imagenet-C by up to 21.11\%. Moreover, we formally explain why the equality of the model's saliency map can improve such robustness.
• Abstract（参考訳）: 敵の例が出現し, DNNにたらされた破滅的な劣化を示すことから, 多くの敵の防御法が考案され, 敵の訓練が最も効果的と考えられる。 しかし、最近の研究は、$l_{\infty}$-adversarial trainingにおける不等式現象を示し、$l_{\infty}$-adversarially trained modelは、いくつかの重要なピクセルがノイズや閉塞によって乱されるときに脆弱であることを示した。 本稿では,l_{\infty}$-adversarial trainingにおける不等式現象を解放する,IGD (Input Gradient Distillation) と呼ばれる簡易かつ効果的な手法を提案する。 実験により、PGDATと比較して、モデルの対向ロバスト性を維持する一方で、IGDは$l_{\infty}$-adversariallyトレーニングされたモデルの誤差率を最大60\%と16.53\%に下げ、Imagenet-Cのノイズ画像は最大21.11\%に下げることが示された。 さらに,モデルの正当性マップの等しさがこのような堅牢性を向上させる理由を正式に説明する。

関連論文リスト

• Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation [95.3977252782181]
  知覚不能な摂動によって特徴づけられる敵対的な例は、彼らの予測を誤解させることで、ディープニューラルネットワークに重大な脅威をもたらす。 本稿では,移動可能な敵例(TAE)に対して,より効率的かつ効果的に堅牢性を高めることを目的とした,新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-04-20T09:07:10Z)
• Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
  ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。 拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。 我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
  論文  参考訳（メタデータ） (2025-01-22T18:52:06Z)
• Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis [55.561961365113554]
  3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)において顕著な効果を示した 本稿では,Self-Ensembling Gaussian Splatting(SE-GS)を紹介する。 我々は,トレーニング中に不確実性を認識した摂動戦略を導入することで,自己理解を実現する。 LLFF, Mip-NeRF360, DTU, MVImgNetデータセットによる実験結果から, 本手法がNVSの品質を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-31T18:43:48Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  任意の制約下で高速かつ高品質な生成を可能にするアルゴリズムを提案する。 推測中、ノイズの多い画像上で計算された勾配更新と、最終的なクリーンな画像で計算されたアップデートとを交換できる。 我々のアプローチは、最先端のトレーニングフリー推論アプローチに匹敵するか、超越した結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation [1.519321208145928]
  人間の監督なしに堅牢な表現を学ぶことの追求は、長年にわたる課題である。 本稿では,Fr'echet ResNet Distance(FRD)によるペアワイズ類似性計算を用いて,偽正負負対と偽負対の影響を緩和する。 提案手法の有効性は,STL10で87.74%,Flower102データセットで99.31%,自己教師付きコントラスト表現で訓練された線形分類器によって実証された。
  論文  参考訳（メタデータ） (2024-03-28T17:04:07Z)
• Stable Unlearnable Example: Enhancing the Robustness of Unlearnable Examples via Stable Error-Minimizing Noise [31.586389548657205]
  データにある種の知覚不能ノイズを加えることにより、モデルの一般化性能を著しく低下させる非学習不可能な例を提案する。 本稿では,時間を要する対向的摂動ではなく,ランダムな摂動に対する防御音を訓練する安定型誤り最小化ノイズ(SEM)を導入する。 SEMは、CIFAR-10、CIFAR-100、ImageNet Subset上で、最先端の新たなパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-22T01:43:57Z)
• Reducing Spatial Fitting Error in Distillation of Denoising Diffusion Models [13.364271265023953]
  拡散モデルの知識蒸留は、この制限に短いサンプリングプロセスで対処する有効な方法である。 本研究は,教師モデルと学生モデルの両方のトレーニングにおいて発生する空間的適合誤差に起因する。 SFERDは教師モデルと設計した意味的勾配予測器からの注意誘導を利用して、学生の適合誤差を低減する。 CIFAR-10で5.31、ImageNet 64$times$64で9.39のFIDを実現する。
  論文  参考訳（メタデータ） (2023-11-07T09:19:28Z)
• Reducing Adversarial Training Cost with Gradient Approximation [0.3916094706589679]
  そこで本研究では,厳密なモデル構築に要するコストを削減するために,GAAT(グラディエント近似)を用いた対戦訓練法を提案する。 提案手法は,データセット上でのモデルテスト精度に比較して,トレーニング時間の最大60%を節約する。
  論文  参考訳（メタデータ） (2023-09-18T03:55:41Z)
• On the Vulnerability of Fairness Constrained Learning to Malicious Noise [28.176039923404883]
  トレーニングデータにおいて、公平性に制約された学習の脆弱性を少数の悪意のある雑音に対して考慮する。 例えば、Demographic Parityでは、$Theta(alpha)$の精度損失しか発生せず、$alpha$は悪意のあるノイズレートであることを示す。 Equal Opportunity に対して、$O(sqrtalpha)$損失を発生させ、一致する$Omega(sqrtalpha)$ lower bound を与える。
  論文  参考訳（メタデータ） (2023-07-21T20:26:54Z)
• Evaluating Similitude and Robustness of Deep Image Denoising Models via Adversarial Attack [60.40356882897116]
  ディープニューラルネットワーク(DNN)は、従来の画像復調アルゴリズムよりも優れたパフォーマンスを示している。 本稿では,現在のディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディナイジング・PGD(Denoising-PGD)と名づけられた敵攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-06-28T09:30:59Z)
• Robust Classification via a Single Diffusion Model [37.46217654590878]
  ロバスト拡散(英: Robust Diffusion、RDC)は、事前学習された拡散モデルから構築され、逆向きに堅牢な生成型分類器である。 RDCは75.67%で様々な$ell_infty$標準有界適応攻撃に対して、CIFAR-10で$epsilon_infty/255$で堅牢な精度を達成した。
  論文  参考訳（メタデータ） (2023-05-24T15:25:19Z)
• Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial Defense [52.66971714830943]
  マスク付き画像モデリング(MIM)は、自己教師付き視覚表現学習のフレームワークとして普及している。 本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に対して対角的ロバスト性を提供する方法について検討する。 本稿では,デノナイジングのためのデコーダを用いて,デノナイジングのための対角防御手法を提案する。
  論文  参考訳（メタデータ） (2023-02-02T12:37:24Z)
• Guided Diffusion Model for Adversarial Purification [103.4596751105955]
  敵攻撃は、様々なアルゴリズムやフレームワークでディープニューラルネットワーク(DNN)を妨害する。 本稿では,GDMP ( Guided diffusion model for purification) と呼ばれる新しい精製法を提案する。 様々なデータセットにわたる包括的実験において,提案したGDMPは,敵対的攻撃によって引き起こされた摂動を浅い範囲に減少させることを示した。
  論文  参考訳（メタデータ） (2022-05-30T10:11:15Z)
• Diffusion Models for Adversarial Purification [69.1882221038846]
  対人浄化(Adrial purification)とは、生成モデルを用いて敵の摂動を除去する防衛方法の分類である。 そこで我々は,拡散モデルを用いたDiffPureを提案する。 提案手法は,現在の対人訓練および対人浄化方法よりも優れ,最先端の成果を達成する。
  論文  参考訳（メタデータ） (2022-05-16T06:03:00Z)
• Fast Gradient Non-sign Methods [67.56549792690706]
  Fast Gradient Non-sign Method (FGNM) は一般的なルーチンであり、グラデーションベースの攻撃において従来の$sign$操作をシームレスに置き換えることができる。 我々の手法は、textbf27.5% と textbf9.5% でそれらを上回ります。
  論文  参考訳（メタデータ） (2021-10-25T08:46:00Z)
• Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting [61.99564267735242]
  安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。 近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。 群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
  論文  参考訳（メタデータ） (2021-04-22T05:10:55Z)
• Rethinking the Role of Gradient-Based Attribution Methods for Model Interpretability [8.122270502556374]
  差別的なディープニューラルネットワークの解釈可能性の現在の方法は、モデルの入力勾配に依存する。 判別関数を変更することなく、これらの入力勾配を任意に操作できることが示される。
  論文  参考訳（メタデータ） (2020-06-16T13:17:32Z)
• Robust Face Verification via Disentangled Representations [20.393894616979402]
  顔認証のための頑健なアルゴリズムを導入し、同一人物か否かを判定する。 我々は,学習中に生成モデルを,対向雑音を除去するテスト時間浄化装置の代わりに,オンライン増強法として利用する。 逆行訓練と組み合わせることで,提案手法は弱内部解法と収束し,ホワイトボックスの物理的攻撃に対する評価において,最先端の工法よりもクリーンで堅牢な精度を有することを示す。
  論文  参考訳（メタデータ） (2020-06-05T19:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。