論文の概要: Selectivity considered harmful: evaluating the causal impact of class selectivity in DNNs

• arxiv url: http://arxiv.org/abs/2003.01262v3
• Date: Wed, 14 Oct 2020 17:31:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 21:41:48.918185
• Title: Selectivity considered harmful: evaluating the causal impact of class selectivity in DNNs
• Title（参考訳）: 有害と考えられる選択性:DNNにおけるクラス選択性の因果的影響の評価
• Authors: Matthew L. Leavitt and Ari Morcos
• Abstract要約: ネットワーク機能に対するクラス選択率の因果的影響を,クラス選択率に対して直接的あるいは正則化することにより検討する。 この正規化器を使用して、畳み込みニューラルネットワークのユニット間のクラス選択率を削減することで、Tiny ImageNetでトレーニングされたResNet18では、テスト精度が2%以上向上した。 CIFAR10でトレーニングされたResNet20では、テスト精度に影響を与えずに2.5の係数でクラス選択率を削減でき、テスト精度をわずか(sim$2%)下げるだけで、ほぼゼロに削減できる。
• 参考スコア（独自算出の注目度）: 7.360807642941714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The properties of individual neurons are often analyzed in order to understand the biological and artificial neural networks in which they're embedded. Class selectivity-typically defined as how different a neuron's responses are across different classes of stimuli or data samples-is commonly used for this purpose. However, it remains an open question whether it is necessary and/or sufficient for deep neural networks (DNNs) to learn class selectivity in individual units. We investigated the causal impact of class selectivity on network function by directly regularizing for or against class selectivity. Using this regularizer to reduce class selectivity across units in convolutional neural networks increased test accuracy by over 2% for ResNet18 trained on Tiny ImageNet. For ResNet20 trained on CIFAR10 we could reduce class selectivity by a factor of 2.5 with no impact on test accuracy, and reduce it nearly to zero with only a small ($\sim$2%) drop in test accuracy. In contrast, regularizing to increase class selectivity significantly decreased test accuracy across all models and datasets. These results indicate that class selectivity in individual units is neither sufficient nor strictly necessary, and can even impair DNN performance. They also encourage caution when focusing on the properties of single units as representative of the mechanisms by which DNNs function.
• Abstract（参考訳）: 個々のニューロンの性質は、組み込まれた生物学的および人工的なニューラルネットワークを理解するためにしばしば分析される。 クラス選択性(class selectivity) - ニューロンの反応が刺激やデータサンプルの異なるクラスにまたがってどのように異なるかを定義することで、この目的のために一般的に用いられる。 しかし、ディープニューラルネットワーク(dnn)が個々のユニットでクラス選択性を学ぶのに必要か、あるいは十分かという疑問は残っていない。 ネットワーク機能に対するクラス選択性の因果的影響を,クラス選択性に対して直接的あるいは正則化することにより検討した。 この正規化器を使用して畳み込みニューラルネットワークのユニット間のクラス選択率を削減することで、Tiny ImageNetでトレーニングされたResNet18では、テスト精度が2%以上向上した。 CIFAR10でトレーニングされたResNet20では、テスト精度に影響を与えずに2.5の係数でクラス選択率を減らし、テスト精度をわずか($\sim$2%)下げるだけで、ほぼゼロに削減できる。 対照的に、クラス選択性を高めるための正規化は、すべてのモデルとデータセットでテスト精度を著しく低下させた。 これらの結果から,個々の単位のクラス選択性は十分でなく,厳密には必要ではなく,DNNのパフォーマンスを損なうことさえあることが示された。 また、DNNが機能するメカニズムの表現として、単一ユニットの特性に焦点を当てる際にも注意を喚起する。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Neuroevolutionary algorithms driven by neuron coverage metrics for semi-supervised classification [60.60571130467197]
  一部の機械学習アプリケーションでは、ラベル付けされていないインスタンスが豊富であるのに対して、教師付き分類のためのラベル付きインスタンスの可用性は制限されている。 本稿では、ニューラルネットワークアーキテクチャ上で計算されたニューラルネットワークカバレッジメトリクスを用いて、未ラベルのインスタンスを利用する神経進化的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-05T23:38:44Z)
• Much Easier Said Than Done: Falsifying the Causal Relevance of Linear Decoding Methods [1.3999481573773074]
  線形分類器プローブは、高い選択性を持つユニットをネットワーク機能にとって最も重要なものとして識別する。 選択的ニューロンに対するアブレーション効果がないにもかかわらず、線形復号法はネットワーク機能の解釈に効果的に利用できる。 具体的には,AlexNet,VGG16,MobileNetV2,ResNet101のユニット群において,選択性とユニットの平均活動の相互作用がアブレーション性能の低下を予測できることを示す。
  論文  参考訳（メタデータ） (2022-11-08T16:43:02Z)
• Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
  我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。 我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。 得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
  論文  参考訳（メタデータ） (2022-01-23T21:18:17Z)
• Debiased Graph Neural Networks with Agnostic Label Selection Bias [59.61301255860836]
  既存のグラフニューラルネットワーク(GNN)のほとんどは、データの選択バイアスを考慮せずに提案されている。 本稿では,デコリレーションレギュレータを区別した新しいデバイアスドグラフニューラルネットワーク(DGNN)を提案する。 DGNNは既存のGNNを強化するフレキシブルなフレームワークである。
  論文  参考訳（メタデータ） (2022-01-19T16:50:29Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• Linking average- and worst-case perturbation robustness via class selectivity and dimensionality [7.360807642941714]
  クラス選択性は入力データの摂動に頑健性(または脆弱性)を与えるかを検討する。 階層選択度が低いように正規化されたネットワークは、平均ケース摂動よりも頑健であることがわかった。 対照的に、クラス選択性は、複数のタイプの最悪の摂動に対して堅牢性を高める。
  論文  参考訳（メタデータ） (2020-10-14T00:45:29Z)
• On the relationship between class selectivity, dimensionality, and robustness [25.48362370177062]
  クラス選択性は入力データの摂動に頑健性(または脆弱性)を与えるかを検討する。 クラス選択率の平均は、自然主義的な腐敗に対する脆弱性を予測する。 その結果、クラス選択性は、複数の種類の勾配に基づく敵攻撃に対して堅牢性を高めることが判明した。
  論文  参考訳（メタデータ） (2020-07-08T21:24:45Z)
• Prior choice affects ability of Bayesian neural networks to identify unknowns [0.0]
  我々は、事前の選択がモデルが正しいクラスにデータを確実に割り当てる能力に重大な影響を与えることを示す。 また,BNNの性能向上のための代替オプションについても検討した。
  論文  参考訳（メタデータ） (2020-05-11T10:32:47Z)
• Learning Class Regularized Features for Action Recognition [68.90994813947405]
  本稿では,階層活性化のクラスベース正規化を行うクラス正規化手法を提案する。 動作認識に最先端CNNアーキテクチャのクラス正規化ブロックを用いることで,Kineetics,UCF-101,HMDB-51データセットにおいて,それぞれ1.8%,1.2%,1.4%の体系的改善が得られた。
  論文  参考訳（メタデータ） (2020-02-07T07:27:49Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。