論文の概要: How Robust Are Energy-Based Models Trained With Equilibrium Propagation?

• arxiv url: http://arxiv.org/abs/2401.11543v1
• Date: Sun, 21 Jan 2024 16:55:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 15:55:55.509987
• Title: How Robust Are Energy-Based Models Trained With Equilibrium Propagation?
• Title（参考訳）: エネルギーベースモデルが平衡伝播にどの程度ロバストか?
• Authors: Siddharth Mansingh, Michal Kucer, Garrett Kenyon, Juston Moore and Michael Teti
• Abstract要約: 敵の訓練は、敵の攻撃に対する現在の最先端の防御である。 クリーンな入力に対するモデルの精度を低くし、計算コストも高く、自然騒音に対する堅牢性も低い。 対照的に、エネルギーベースモデル(EBM)は各層から前の層へのフィードバック接続を組み込んでおり、繰り返し発生する深層構造をもたらす。
• 参考スコア（独自算出の注目度）: 4.374837991804085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are easily fooled by adversarial perturbations that are imperceptible to humans. Adversarial training, a process where adversarial examples are added to the training set, is the current state-of-the-art defense against adversarial attacks, but it lowers the model's accuracy on clean inputs, is computationally expensive, and offers less robustness to natural noise. In contrast, energy-based models (EBMs), which were designed for efficient implementation in neuromorphic hardware and physical systems, incorporate feedback connections from each layer to the previous layer, yielding a recurrent, deep-attractor architecture which we hypothesize should make them naturally robust. Our work is the first to explore the robustness of EBMs to both natural corruptions and adversarial attacks, which we do using the CIFAR-10 and CIFAR-100 datasets. We demonstrate that EBMs are more robust than transformers and display comparable robustness to adversarially-trained DNNs on gradient-based (white-box) attacks, query-based (black-box) attacks, and natural perturbations without sacrificing clean accuracy, and without the need for adversarial training or additional training techniques.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、人間には受け入れられない敵の摂動によって容易に騙される。 敵意トレーニング(adversarial training)は、相手の例をトレーニングセットに追加するプロセスであり、敵意攻撃に対する現在の最先端の防御であるが、クリーン入力におけるモデルの精度を低下させ、計算コストが高く、自然雑音に対するロバスト性が低下する。 対照的に、ニューロモルフィックハードウェアや物理システムにおける効率的な実装のために設計されたエネルギーベースモデル(EBM)は、各層から前の層へのフィードバック接続を組み込んでおり、我々はそれを自然に堅牢にすべきと仮定している。 我々の研究は、CIFAR-10とCIFAR-100のデータセットを用いて、自然破壊と敵攻撃の両方に対するESMの堅牢性を調べる最初のものである。 EBMはトランスフォーマーよりも頑丈で、グラデーションベースの(ホワイトボックス)攻撃、クエリベースの(ブラックボックス)攻撃、および自然な摂動に対して、敵のトレーニングや追加の訓練テクニックを必要とせず、敵のトレーニングに匹敵する堅牢性を示す。

関連論文リスト

• Robust Diffusion Models for Adversarial Purification [28.313494459818497]
  拡散モデル(DM)に基づく対位法(AP)は、対位法トレーニング(AT)の最も強力な代替手段であることが示されている。 本稿では,事前訓練したDMとは独立に,敵対的指導を施した新しい頑健な逆過程を提案する。 この堅牢なガイダンスは、よりセマンティックなコンテンツを保持する純粋化された例を生成するだけでなく、DMの正確でロバストなトレードオフを軽減することができる。
  論文  参考訳（メタデータ） (2024-03-24T08:34:08Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• Robustness-via-Synthesis: Robust Training with Generative Adversarial Perturbations [10.140147080535224]
  先制攻撃による敵の訓練は、今日の敵の摂動に対する最も効果的な防御の1つである。 本研究では, 逆方向の摂動を自動的にランダムなベクトルから生成ネットワークを用いて合成する頑健な学習アルゴリズムを提案する。 実験結果から, 提案手法は様々な勾配に基づく, 生成的ロバストトレーニング手法により, 同等のロバスト性が得られることがわかった。
  論文  参考訳（メタデータ） (2021-08-22T13:15:24Z)
• ROPUST: Improving Robustness through Fine-tuning with Photonic Processors and Synthetic Gradients [65.52888259961803]
  ROPUSTは、頑健な事前学習モデルを活用し、その堅牢性を高めるためのシンプルで効率的な手法である。 我々は,ロバストベンチの4つの攻撃に対して,9つの異なるモデルを用いて実験を行った。 ROPUSTは,最先端の位相探索技術でも有効であることを示す。
  論文  参考訳（メタデータ） (2021-07-06T12:03:36Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Combating Adversaries with Anti-Adversaries [118.70141983415445]
  特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。 我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。 我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2021-03-26T09:36:59Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Stochastic Security: Adversarial Defense Using Long-Run Dynamics of Energy-Based Models [82.03536496686763]
  敵対的攻撃に対するディープ・ネットワークの脆弱性は、認識とセキュリティの両方の観点から、ディープ・ラーニングの中心的な問題である。 我々は,自然学習型分類器の保護に重点を置き,マルコフ・チェイン・モンテカルロ (MCMC) とエネルギーベースモデル (EBM) を併用して敵の浄化を行った。 本研究は,1)現実的な長期MCMCサンプルを用いたEMMの訓練方法の改善,2)防衛の理論的曖昧さを解消する期待・オフバー・トランスフォーメーション(EOT)ディフェンス,3)自然に訓練された分類器と競争的ディフェンスのための最先端の対人ディフェンス,である。
  論文  参考訳（メタデータ） (2020-05-27T17:53:36Z)
• Improving the affordability of robustness training for DNNs [11.971637253035107]
  逆行訓練の初期段階は冗長であり、計算効率を大幅に向上させる自然な訓練に置き換えることができることを示す。 提案手法は, 各種敵攻撃の強みに対するモデルテスト精度と一般化により, 最大2.5倍の訓練時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-02-11T07:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。