論文の概要: Improving Neural Network Robustness through Neighborhood Preserving Layers

• arxiv url: http://arxiv.org/abs/2101.11766v2
• Date: Fri, 29 Jan 2021 16:06:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 12:06:32.074968
• Title: Improving Neural Network Robustness through Neighborhood Preserving Layers
• Title（参考訳）: 近傍保存層によるニューラルネットワークのロバスト性向上
• Authors: Bingyuan Liu, Christopher Malon, Lingzhou Xue and Erik Kruus
• Abstract要約: このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。 我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
• 参考スコア（独自算出の注目度）: 0.751016548830037
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Robustness against adversarial attack in neural networks is an important research topic in the machine learning community. We observe one major source of vulnerability of neural nets is from overparameterized fully-connected layers. In this paper, we propose a new neighborhood preserving layer which can replace these fully connected layers to improve the network robustness. We demonstrate a novel neural network architecture which can incorporate such layers and also can be trained efficiently. We theoretically prove that our models are more robust against distortion because they effectively control the magnitude of gradients. Finally, we empirically show that our designed network architecture is more robust against state-of-art gradient descent based attacks, such as a PGD attack on the benchmark datasets MNIST and CIFAR10.
• Abstract（参考訳）: ニューラルネットワークにおける敵攻撃に対するロバスト性は、機械学習コミュニティにおいて重要な研究トピックである。 ニューラルネットの脆弱性の1つの主要な源は、過パラメーター化された完全接続層である。 本稿では,これら完全接続層を置き換え,ネットワークロバスト性を向上させる新しい近傍保存層を提案する。 このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを示す。 理論上、我々のモデルは、勾配の大きさを効果的に制御するため、歪みに対してよりロバストであることが証明される。 最後に、我々の設計したネットワークアーキテクチャは、ベンチマークデータセットMNISTやCIFAR10に対するPGD攻撃など、最先端の勾配に基づく攻撃に対してより堅牢であることを示す。

関連論文リスト

• Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
  適応型ニューラルネットワークの動的対向攻撃問題について検討する。 本稿では,LGM(Leaded Gradient Method)を提案する。 我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
  論文  参考訳（メタデータ） (2022-10-15T01:32:08Z)
• Understanding Adversarial Robustness from Feature Maps of Convolutional Layers [23.42376264664302]
  ニューラルネットワークの摂動能力は、主にモデル容量と摂動能力の2つの要因に依存している。 畳み込み層の特徴マップからネットワークの摂動防止能力について検討する。 自然な精度と敵の堅牢性の両面での非自明な改善は、様々な攻撃・防御機構の下で達成できる。
  論文  参考訳（メタデータ） (2022-02-25T00:14:59Z)
• Dynamics-aware Adversarial Attack of 3D Sparse Convolution Network [75.1236305913734]
  ディープニューラルネットワークにおける動的に認識される敵攻撃問題について検討する。 ほとんどの既存の敵攻撃アルゴリズムは基本的な前提の下で設計されており、ネットワークアーキテクチャは攻撃プロセス全体を通して固定されている。 本稿では,LGM(Leaded Gradient Method)を提案する。
  論文  参考訳（メタデータ） (2021-12-17T10:53:35Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• Evolving Architectures with Gradient Misalignment toward Low Adversarial Transferability [4.415977307120616]
  本稿では,神経進化を利用してネットワークアーキテクチャを進化させるアーキテクチャ探索フレームワークを提案する。 実験の結果,提案手法は4つの標準ネットワークからの転送可能性を低減するアーキテクチャの発見に成功していることがわかった。 さらに、勾配のずれをトレーニングした進化的ネットワークは、勾配のずれをトレーニングした標準ネットワークと比較して、転送可能性を大幅に低下させる。
  論文  参考訳（メタデータ） (2021-09-13T12:41:53Z)
• Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics [0.5284812806199193]
  我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」 本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-04T22:48:13Z)
• Tiny Adversarial Mulit-Objective Oneshot Neural Architecture Search [35.362883630015354]
  モバイルデバイスにデプロイされるほとんどのニューラルネットワークモデルは小さい。 しかし、小さなニューラルネットワークは一般に攻撃に対して非常に脆弱である。 私たちの研究は、モバイルレベルのリソースの下でクリーンな精度を損なうことなく、小さなニューラルネットワークの堅牢性を改善する方法にフォーカスしています。
  論文  参考訳（メタデータ） (2021-02-28T00:54:09Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。