論文の概要: On sparse connectivity, adversarial robustness, and a novel model of the artificial neuron

• arxiv url: http://arxiv.org/abs/2006.09510v1
• Date: Tue, 16 Jun 2020 20:45:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 18:36:24.656495
• Title: On sparse connectivity, adversarial robustness, and a novel model of the artificial neuron
• Title（参考訳）: 疎結合性, 対向ロバスト性, および人工ニューロンの新しいモデルについて
• Authors: Sergey Bochkanov
• Abstract要約: 本稿では, ハードウェア要件が低く, 対向性摂動に対して固有の頑健性を有する「強いニューロン」という, 人工ニューロンの新しいモデルを提案する。 SVHN および GTSRB ベンチマークを用いて,本手法の有効性を実証する。 また、強いニューロンを構成するブロックが、敵の攻撃に対して完全な安定性を持つ唯一の活性化機能であることも証明した。
• 参考スコア（独自算出の注目度）: 6.09170287691728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have achieved human-level accuracy on almost all perceptual benchmarks. It is interesting that these advances were made using two ideas that are decades old: (a) an artificial neuron based on a linear summator and (b) SGD training. However, there are important metrics beyond accuracy: computational efficiency and stability against adversarial perturbations. In this paper, we propose two closely connected methods to improve these metrics on contour recognition tasks: (a) a novel model of an artificial neuron, a "strong neuron," with low hardware requirements and inherent robustness against adversarial perturbations and (b) a novel constructive training algorithm that generates sparse networks with $O(1)$ connections per neuron. We demonstrate the feasibility of our approach through experiments on SVHN and GTSRB benchmarks. We achieved an impressive 10x-100x reduction in operations count (10x when compared with other sparsification approaches, 100x when compared with dense networks) and a substantial reduction in hardware requirements (8-bit fixed-point math was used) with no reduction in model accuracy. Superior stability against adversarial perturbations (exceeding that of adversarial training) was achieved without any counteradversarial measures, relying on the robustness of strong neurons alone. We also proved that constituent blocks of our strong neuron are the only activation functions with perfect stability against adversarial attacks.
• Abstract（参考訳）: ディープニューラルネットワークは、ほぼすべての知覚的ベンチマークで人間のレベル精度を達成した。 これらの進歩は、何十年にもわたって古い2つのアイデアを用いてなされたことが興味深い。 a) 線形和算器に基づく人工ニューロンと (b)SGDトレーニング。 しかし、計算効率と対向摂動に対する安定性という、精度を超える重要な指標がある。 本稿では,輪郭認識タスクにおけるこれらの指標を改善するための2つの密結合手法を提案する。 (a) ハードウェア要件の低さと対向性摂動に対する固有の堅牢性を有する「強ニューロン」という,人工ニューロンの新しいモデル (b)ニューロン毎に$o(1)$接続を持つスパースネットワークを生成する新規な構成的トレーニングアルゴリズム。 SVHN および GTSRB ベンチマークを用いて,本手法の有効性を実証する。 演算回数の10x-100x削減(他のスペーシフィケーション手法の10倍、高密度ネットワークの100倍)とハードウェア要件の大幅な削減(8ビット固定点数を用いた)を実現し、モデルの精度を低下させることなく達成した。 逆行性摂動に対する上向きの安定性(逆行性トレーニングによるものを除く)は、強いニューロンのみの堅牢性に頼らずに、逆行性対策なしで達成された。 また,我々の強力なニューロンを構成するブロックが,敵の攻撃に対して完全な安定性を持つ唯一の活性化機能であることも証明した。

関連論文リスト

• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Wavelets Beat Monkeys at Adversarial Robustness [0.8702432681310401]
  物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかったロバスト性に対する新たな洞察をいかに生み出すかを示す。 我々の研究は、物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかった堅牢性に対する新たな洞察をいかに生み出すかを示している。
  論文  参考訳（メタデータ） (2023-04-19T03:41:30Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Improving Adversarial Transferability via Neuron Attribution-Based Attacks [35.02147088207232]
  本稿では,より正確なニューロン重要度推定を行う機能レベルアタック(NAA)を提案する。 我々は、オーバーヘッドを大幅に減らすために、ニューロンの属性の近似スキームを導出する。 実験により、最先端のベンチマークに対する我々のアプローチの優位性が確認された。
  論文  参考訳（メタデータ） (2022-03-31T13:47:30Z)
• Few-shot Backdoor Defense Using Shapley Estimation [123.56934991060788]
  我々は、深層ニューラルネットワークに対するバックドア攻撃を軽減するために、Shapley Pruningと呼ばれる新しいアプローチを開発した。 ShapPruningは、感染した数少ないニューロン(全ニューロンの1%以下)を特定し、モデルの構造と正確性を保護する。 様々な攻撃やタスクに対して,本手法の有効性とロバスト性を示す実験を行った。
  論文  参考訳（メタデータ） (2021-12-30T02:27:03Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• The Compact Support Neural Network [6.47243430672461]
  本研究では, 標準ドット生成物に基づくニューロンとRBFニューロンを, 形状パラメータの2つの極端な場合として提示する。 トレーニングされた標準ニューラルネットワークから始めて、必要な値まで形状パラメータを徐々に増加させることで、そのようなニューロンによるニューラルネットワークのトレーニングの難しさを回避する方法を示す。
  論文  参考訳（メタデータ） (2021-04-01T06:08:09Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。