論文の概要: Shedding More Light on Robust Classifiers under the lens of Energy-based Models

• arxiv url: http://arxiv.org/abs/2407.06315v2
• Date: Thu, 11 Jul 2024 11:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 12:07:17.726139
• Title: Shedding More Light on Robust Classifiers under the lens of Energy-based Models
• Title（参考訳）: エネルギーモデルにおけるロバスト分類器への光の入射
• Authors: Mujtaba Hussain Mirza, Maria Rosaria Briglia, Senad Beadini, Iacopo Masi,
• Abstract要約: 我々は、敵対的訓練(AT)のダイナミクスについて、新しい視点を提供する。 ATにおけるエネルギー環境の分析により、標的外攻撃は、モデルの観点からの本来のデータよりも、より分散した(低エネルギー)敵画像を生成することが明らかとなった。 厳格なエビデンスを動機とした重エネルギー教育(WEAT)の提案
• 参考スコア（独自算出の注目度）: 3.953603590878949
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: By reinterpreting a robust discriminative classifier as Energy-based Model (EBM), we offer a new take on the dynamics of adversarial training (AT). Our analysis of the energy landscape during AT reveals that untargeted attacks generate adversarial images much more in-distribution (lower energy) than the original data from the point of view of the model. Conversely, we observe the opposite for targeted attacks. On the ground of our thorough analysis, we present new theoretical and practical results that show how interpreting AT energy dynamics unlocks a better understanding: (1) AT dynamic is governed by three phases and robust overfitting occurs in the third phase with a drastic divergence between natural and adversarial energies (2) by rewriting the loss of TRadeoff-inspired Adversarial DEfense via Surrogate-loss minimization (TRADES) in terms of energies, we show that TRADES implicitly alleviates overfitting by means of aligning the natural energy with the adversarial one (3) we empirically show that all recent state-of-the-art robust classifiers are smoothing the energy landscape and we reconcile a variety of studies about understanding AT and weighting the loss function under the umbrella of EBMs. Motivated by rigorous evidence, we propose Weighted Energy Adversarial Training (WEAT), a novel sample weighting scheme that yields robust accuracy matching the state-of-the-art on multiple benchmarks such as CIFAR-10 and SVHN and going beyond in CIFAR-100 and Tiny-ImageNet. We further show that robust classifiers vary in the intensity and quality of their generative capabilities, and offer a simple method to push this capability, reaching a remarkable Inception Score (IS) and FID using a robust classifier without training for generative modeling. The code to reproduce our results is available at http://github.com/OmnAI-Lab/Robust-Classifiers-under-the-lens-of-EBM/ .
• Abstract（参考訳）: 頑健な識別型分類器をエネルギーベースモデル (EBM) として再解釈することにより, 対人訓練 (AT) の力学に新たな視点を与える。 ATにおけるエネルギー環境の分析により、標的外攻撃は、モデルの観点からの本来のデータよりも、より分散した(低エネルギー)敵画像を生成することが明らかとなった。 逆に、ターゲット攻撃の反対を観察する。 本研究は,ATエネルギー力学の解釈が3相に支配され,第3相に強大なオーバーフィッティングが発生すること,第2相にTRadeoff-inspired Adversarial Defenseの損失をSurrogate-loss minimization (TRADES) に書き換えること,TRADESが自然エネルギーと対向エネルギーを整合させることによって過度フィッティングを暗黙的に緩和すること,第3相に強大なオーバーフィッティングが生じること,及び第3相に強大なオーバーフィッティングが生じることを実証的に示す。 CIFAR-10 や SVHN などの複数のベンチマークに適合し,CIFAR-100 や Tiny-ImageNet を超越した精度の高い試料重み付け手法である Weighted Energy Adversarial Training (WEAT) を提案する。 さらに、ロバストな分類器は、その生成能力の強度と品質に変化があることを示し、生成モデリングの訓練を受けずにロバストな分類器を用いて、優れたインセプションスコア(IS)とFIDに到達した。 結果を再現するコードは http://github.com/OmnAI-Lab/Robust-Classifiers-under-the-lens-of-EBM/ で公開されている。

関連論文リスト

• How Robust Are Energy-Based Models Trained With Equilibrium Propagation? [4.374837991804085]
  敵の訓練は、敵の攻撃に対する現在の最先端の防御である。 クリーンな入力に対するモデルの精度を低くし、計算コストも高く、自然騒音に対する堅牢性も低い。 対照的に、エネルギーベースモデル(EBM)は各層から前の層へのフィードバック接続を組み込んでおり、繰り返し発生する深層構造をもたらす。
  論文  参考訳（メタデータ） (2024-01-21T16:55:40Z)
• Exploring the Physical World Adversarial Robustness of Vehicle Detection [13.588120545886229]
  アドリアックは現実世界の検知モデルの堅牢性を損なう可能性がある。 CARLAシミュレータを用いた革新的なインスタントレベルデータ生成パイプラインを提案する。 本研究は, 逆境条件下での多種多様なモデル性能について考察した。
  論文  参考訳（メタデータ） (2023-08-07T11:09:12Z)
• Energy Discrepancies: A Score-Independent Loss for Energy-Based Models [20.250792836049882]
  本稿では,スコアの計算や高価なマルコフ連鎖モンテカルロの計算に頼らない新しい損失関数であるEnergy Discrepancy (ED)を提案する。 EDは明示的なスコアマッチングと負のログ類似損失に異なる限界でアプローチし,両者を効果的に補間することを示した。
  論文  参考訳（メタデータ） (2023-07-12T19:51:49Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Semantic Driven Energy based Out-of-Distribution Detection [0.4640835690336652]
  エネルギーベースのOOD法は有望であり、優れた性能を発揮することが証明されている。 本稿では,エンドツーエンドのトレーニングシステムであり,最適化が容易なセマンティックなエネルギーベース手法を提案する。 その結果,我々の新しい手法は,一般的なベンチマーク上でのエネルギーベースモデルとして,外乱検出を強化し,最先端のモデルを実現する。
  論文  参考訳（メタデータ） (2022-08-23T07:40:34Z)
• A Unified Contrastive Energy-based Model for Understanding the Generative Ability of Adversarial Training [64.71254710803368]
  Adversarial Training (AT) は、ディープニューラルネットワークの堅牢性を高める効果的なアプローチである。 我々は、Contrastive Energy-based Models(CEM)と呼ばれる統合確率的枠組みを開発することにより、この現象をデミステレーションする。 本稿では,逆学習法とサンプリング法を開発するための原則的手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:33:34Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Energy Aligning for Biased Models [39.00256193731365]
  クラス不均衡データのトレーニングは通常、多数クラスのサンプルを予測する傾向にあるバイアスのあるモデルをもたらす。 本稿では, バイアスを除去する簡易かつ効果的なEnergy Aligning法を提案する。 実験結果から,エネルギー整合性はクラス不均衡問題を効果的に軽減し,いくつかのベンチマークで最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-07T05:12:26Z)
• From Sound Representation to Model Robustness [82.21746840893658]
  本研究では, 環境音の標準的な表現(スペクトログラム)が, 被害者の残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 3つの環境音響データセットの様々な実験から、ResNet-18モデルは、他のディープラーニングアーキテクチャよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-27T17:30:49Z)
• Adversarial Example Games [51.92698856933169]
  Adrial Example Games (AEG) は、敵の例の製作をモデル化するフレームワークである。 AEGは、ある仮説クラスからジェネレータとアバーサを反対に訓練することで、敵の例を設計する新しい方法を提供する。 MNIST と CIFAR-10 データセットに対する AEG の有効性を示す。
  論文  参考訳（メタデータ） (2020-07-01T19:47:23Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。