論文の概要: Layer-wise Regularized Adversarial Training using Layers Sustainability Analysis (LSA) framework

• arxiv url: http://arxiv.org/abs/2202.02626v1
• Date: Sat, 5 Feb 2022 20:05:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 12:12:56.395918
• Title: Layer-wise Regularized Adversarial Training using Layers Sustainability Analysis (LSA) framework
• Title（参考訳）: 層状サステナビリティ解析(LSA)フレームワークを用いた層状正規化逆行訓練
• Authors: Mohammad Khalooei, Mohammad Mehdi Homayounpour, Maryam Amirmazlaghani
• Abstract要約: 敵の攻撃に対する適切な解決策は、堅牢性と一般化の間のトレードオフに達する敵の訓練である。 本稿では,ニューラルネットワークの層脆弱性を敵攻撃のシナリオで解析するための新しいフレームワーク (Layer Sustainability Analysis) を提案する。 提案したアイデアは、最先端の多層パーセプトロンと畳み込みニューラルネットワークアーキテクチャに対して、理論上、実験的によく機能する。
• 参考スコア（独自算出の注目度）: 8.701566919381223
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep neural network models are used today in various applications of artificial intelligence, the strengthening of which, in the face of adversarial attacks is of particular importance. An appropriate solution to adversarial attacks is adversarial training, which reaches a trade-off between robustness and generalization. This paper introduces a novel framework (Layer Sustainability Analysis (LSA)) for the analysis of layer vulnerability in a given neural network in the scenario of adversarial attacks. LSA can be a helpful toolkit to assess deep neural networks and to extend the adversarial training approaches towards improving the sustainability of model layers via layer monitoring and analysis. The LSA framework identifies a list of Most Vulnerable Layers (MVL list) of a given network. The relative error, as a comparison measure, is used to evaluate representation sustainability of each layer against adversarial attack inputs. The proposed approach for obtaining robust neural networks to fend off adversarial attacks is based on a layer-wise regularization (LR) over LSA proposal(s) for adversarial training (AT); i.e. the AT-LR procedure. AT-LR could be used with any benchmark adversarial attack to reduce the vulnerability of network layers and to improve conventional adversarial training approaches. The proposed idea performs well theoretically and experimentally for state-of-the-art multilayer perceptron and convolutional neural network architectures. Compared with the AT-LR and its corresponding base adversarial training, the classification accuracy of more significant perturbations increased by 16.35%, 21.79%, and 10.730% on Moon, MNIST, and CIFAR-10 benchmark datasets in comparison with the AT-LR and its corresponding base adversarial training, respectively. The LSA framework is available and published at https://github.com/khalooei/LSA.
• Abstract（参考訳）: ディープニューラルネットワークモデルは、今日では人工知能の様々な応用で使われており、敵の攻撃に直面して強化することが特に重要である。 敵の攻撃に対する適切な解決策は、強固さと一般化の間のトレードオフに達する敵の訓練である。 本稿では,ニューラルネットワークの層脆弱性を敵攻撃のシナリオで解析するための新しいフレームワーク(Layer Sustainability Analysis (LSA))を提案する。 LSAは、ディープニューラルネットワークを評価し、層監視と分析を通じてモデルレイヤの持続可能性を改善するための敵のトレーニングアプローチを拡張するための有用なツールキットである。 LSAフレームワークは、与えられたネットワークの最も脆弱性のあるレイヤ(MVLリスト)のリストを特定する。 相対誤差は、比較尺度として、敵の攻撃入力に対する各層の表現持続性を評価するために用いられる。 敵の攻撃を阻止する堅牢なニューラルネットワークを得るための提案手法は、敵の訓練(AT)、すなわちAT-LR手順のためのLSA提案に対する層ワイド正規化(LR)に基づいている。 AT-LRは、ネットワーク層の脆弱性を減らし、従来の逆行訓練アプローチを改善するために、あらゆるベンチマーク逆行攻撃で使用できる。 提案手法は,最先端多層パーセプトロンと畳み込みニューラルネットワークアーキテクチャに対して,理論的に実験的によく機能する。 AT-LRとそれに対応するベース対逆訓練と比較して、より重要な摂動の分類精度は、それぞれAT-LRとそれに対応するベース対逆訓練と比較して、月、MNIST、CIFAR-10ベンチマークデータセットで16.35%、21.79%、そして10.730%向上した。 LSAフレームワークはhttps://github.com/khalooei/LSAで公開されている。

関連論文リスト

• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• A Theoretical Perspective on Subnetwork Contributions to Adversarial Robustness [2.064612766965483]
  本稿では,サブネットワークの対角的ロバスト性がネットワーク全体のロバスト性にどのように寄与するかを検討する。 実験では、ロバストなサブネットワークがフルネットワークのロバスト性を促進する能力を示し、このフルネットワークのロバスト性を実現するために必要なレイヤワイドな依存関係を調査する。
  論文  参考訳（メタデータ） (2023-07-07T19:16:59Z)
• Generalization Bounds for Adversarial Contrastive Learning [10.893632710192016]
  我々は、ACLの一般化性能を解析するために、Radecher複雑性を用いる。 本理論は, 下流タスクの対向リスクの平均値は, 上流タスクの対向的無監督リスクによって上限付けられることを示す。
  論文  参考訳（メタデータ） (2023-02-21T12:44:59Z)
• Towards Adversarial Realism and Robust Learning for IoT Intrusion Detection and Classification [0.0]
  IoT(Internet of Things)は、重大なセキュリティ上の課題に直面している。 敵の攻撃による脅威の増大は、信頼できる防衛戦略の必要性を回復させる。 本研究は、敵のサイバー攻撃事例が現実的であるために必要な制約の種類について述べる。
  論文  参考訳（メタデータ） (2023-01-30T18:00:28Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Improving adversarial robustness of deep neural networks by using semantic information [17.887586209038968]
  対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。 本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。 MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
  論文  参考訳（メタデータ） (2020-08-18T10:23:57Z)
• REGroup: Rank-aggregating Ensemble of Generative Classifiers for Robust Predictions [6.0162772063289784]
  敵の訓練やランダムな入力変換を採用する防衛戦略は、合理的なパフォーマンスを達成するために、モデルの再訓練や微調整を必要とするのが普通である。 中間層の神経応答を統計的に特徴付けることにより, 生成型分類器を学習し, トレーニングサンプルをクリーンにすることができる。 提案手法は, クリーントレーニングデータのサブセットと事前学習モデルを用いており, ネットワークアーキテクチャや敵攻撃生成手法に非依存である。
  論文  参考訳（メタデータ） (2020-06-18T17:07:19Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。