論文の概要: And/or trade-off in artificial neurons: impact on adversarial robustness
- arxiv url: http://arxiv.org/abs/2102.07389v1
- Date: Mon, 15 Feb 2021 08:19:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 16:00:21.881373
- Title: And/or trade-off in artificial neurons: impact on adversarial robustness
- Title（参考訳）: 人工ニューロンのトレードオフ: 敵対的堅牢性への影響
- Authors: Alessandro Fontana
- Abstract要約: この問題をより深く理解することで、情報がどのように処理され、ニューラルネットワークでエンコードされるかの理解を深めることができる。
敵対的回復力を高めるという私たちの考えは、人工ニューロンがAND様ニューロンとOR様ニューロンの2つの広いカテゴリーに分けられるという観察から始まります。
我々の仮説は、十分な数のOR様ニューロンのネットワークの存在は、分類「脆さ」につながり、ネットワークが敵対攻撃に対する感受性を高めることができるということです。
- 参考スコア（独自算出の注目度）: 91.3755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since its discovery in 2013, the phenomenon of adversarial examples has
attracted a growing amount of attention from the machine learning community. A
deeper understanding of the problem could lead to a better comprehension of how
information is processed and encoded in neural networks and, more in general,
could help to solve the issue of interpretability in machine learning. Our idea
to increase adversarial resilience starts with the observation that artificial
neurons can be divided in two broad categories: AND-like neurons and OR-like
neurons. Intuitively, the former are characterised by a relatively low number
of combinations of input values which trigger neuron activation, while for the
latter the opposite is true. Our hypothesis is that the presence in a network
of a sufficiently high number of OR-like neurons could lead to classification
"brittleness" and increase the network's susceptibility to adversarial attacks.
After constructing an operational definition of a neuron AND-like behaviour, we
proceed to introduce several measures to increase the proportion of AND-like
neurons in the network: L1 norm weight normalisation; application of an input
filter; comparison between the neuron output's distribution obtained when the
network is fed with the actual data set and the distribution obtained when the
network is fed with a randomised version of the former called "scrambled data
set". Tests performed on the MNIST data set hint that the proposed measures
could represent an interesting direction to explore.
- Abstract（参考訳）: 2013年に発見されて以来、敵対的な例の現象は機械学習コミュニティから注目を集めている。
問題のより深い理解は、ニューラルネットワークで情報がどのように処理され、エンコードされるかをよりよく理解し、より一般的には、機械学習の解釈可能性の問題を解決するのに役立ちます。
敵対的回復力を高めるという私たちの考えは、人工ニューロンがAND様ニューロンとOR様ニューロンの2つの広いカテゴリーに分けられるという観察から始まります。
直感的には、前者はニューロンの活性化を引き起こす入力値の比較的少ない組み合わせによって特徴づけられるが、後者は真である。
我々の仮説は、十分な数のOR様ニューロンのネットワークの存在は、分類「脆さ」につながり、ネットワークが敵対攻撃に対する感受性を高めることができるということです。
l1ノルム重み正規化(l1 norm weight normalization)、入力フィルタの適用(input filter)、ネットワークが実際のデータセットで供給された時に得られるニューロン出力の分布と、ネットワークが前者のランダム化されたバージョンで供給された場合の分布の比較(scrambled data set)である。
MNISTデータセットで実施されたテストは、提案された措置が調査の興味深い方向を示す可能性があることを示唆している。
関連論文リスト
- Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。
エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。
ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文 参考訳（メタデータ） (2024-06-24T01:31:03Z) - DANAA: Towards transferable attacks with double adversarial neuron
attribution [37.33924432015966]
そこで我々は,DANAAと呼ばれる二重対向ニューロン帰属攻撃法を提案し,より正確な特徴重要度推定を行う。
目標は、個々のニューロンの重みを計測し、転送可能性にとってより重要な特徴を保持することである。
論文 参考訳（メタデータ） (2023-10-16T14:11:32Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Improving Adversarial Transferability via Neuron Attribution-Based
Attacks [35.02147088207232]
本稿では,より正確なニューロン重要度推定を行う機能レベルアタック(NAA)を提案する。
我々は、オーバーヘッドを大幅に減らすために、ニューロンの属性の近似スキームを導出する。
実験により、最先端のベンチマークに対する我々のアプローチの優位性が確認された。
論文 参考訳（メタデータ） (2022-03-31T13:47:30Z) - Adversarial Robustness in Deep Learning: Attacks on Fragile Neurons [0.6899744489931016]
第1畳み込み層の結節投棄を用いて, 深層学習アーキテクチャの脆弱で頑健なニューロンを同定した。
これらのニューロンは,ネットワーク上の敵攻撃の分布と相関する。
論文 参考訳（メタデータ） (2022-01-31T14:34:07Z) - Neuronal Correlation: a Central Concept in Neural Network [22.764342635264452]
神経相関は, 重み行列を用いて効率的に推定できることが示唆された。
神経相関は高次元隠れ空間におけるエントロピー推定の精度に大きく影響している。
論文 参考訳（メタデータ） (2022-01-22T15:01:50Z) - Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。
本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
論文 参考訳（メタデータ） (2021-05-18T15:51:24Z) - The Compact Support Neural Network [6.47243430672461]
本研究では, 標準ドット生成物に基づくニューロンとRBFニューロンを, 形状パラメータの2つの極端な場合として提示する。
トレーニングされた標準ニューラルネットワークから始めて、必要な値まで形状パラメータを徐々に増加させることで、そのようなニューロンによるニューラルネットワークのトレーニングの難しさを回避する方法を示す。
論文 参考訳（メタデータ） (2021-04-01T06:08:09Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。