論文の概要: On the relationship between class selectivity, dimensionality, and robustness

• arxiv url: http://arxiv.org/abs/2007.04440v2
• Date: Tue, 13 Oct 2020 22:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 12:41:38.473370
• Title: On the relationship between class selectivity, dimensionality, and robustness
• Title（参考訳）: クラス選択性,次元性,ロバスト性の関係について
• Authors: Matthew L. Leavitt, Ari S. Morcos
• Abstract要約: クラス選択性は入力データの摂動に頑健性(または脆弱性)を与えるかを検討する。 クラス選択率の平均は、自然主義的な腐敗に対する脆弱性を予測する。 その結果、クラス選択性は、複数の種類の勾配に基づく敵攻撃に対して堅牢性を高めることが判明した。
• 参考スコア（独自算出の注目度）: 25.48362370177062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the relative trade-offs between sparse and distributed representations in deep neural networks (DNNs) are well-studied, less is known about how these trade-offs apply to representations of semantically-meaningful information. Class selectivity, the variability of a unit's responses across data classes or dimensions, is one way of quantifying the sparsity of semantic representations. Given recent evidence showing that class selectivity can impair generalization, we sought to investigate whether it also confers robustness (or vulnerability) to perturbations of input data. We found that mean class selectivity predicts vulnerability to naturalistic corruptions; networks regularized to have lower levels of class selectivity are more robust to corruption, while networks with higher class selectivity are more vulnerable to corruption, as measured using Tiny ImageNetC and CIFAR10C. In contrast, we found that class selectivity increases robustness to multiple types of gradient-based adversarial attacks. To examine this difference, we studied the dimensionality of the change in the representation due to perturbation, finding that decreasing class selectivity increases the dimensionality of this change for both corruption types, but with a notably larger increase for adversarial attacks. These results demonstrate the causal relationship between selectivity and robustness and provide new insights into the mechanisms of this relationship.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)におけるスパースと分散表現の相対的なトレードオフはよく研究されているが、これらのトレードオフが意味論的に意味のある情報の表現にどのように適用されるかについてはあまり知られていない。 クラス選択性(Class selectivity)とは、データクラスや次元にまたがるユニットの応答の変動性であり、意味表現の空間性を定量化する一つの方法である。 クラス選択性が一般化を阻害することを示す最近の証拠を踏まえて,入力データの摂動に対してロバスト性(あるいは脆弱性)を付与するかどうかの検討を行った。 平均的クラス選択性は自然主義的腐敗の脆弱性を予測しており、より低いクラス選択性を持つネットワークは腐敗に対してより堅牢であり、より高いクラス選択性を持つネットワークは汚職に対してより脆弱であることがわかった。 対照的に、クラス選択性は、複数の種類の勾配に基づく敵攻撃に対して堅牢性を高める。 この違いを検討するために,摂動による表象の変化の次元について検討し,クラス選択率の低下は,腐敗型の両方に対して,この変化の次元性を高めるが,対向攻撃では著しく増加することを見出した。 これらの結果は選択性とロバスト性の間の因果関係を示し、この関係のメカニズムに関する新たな洞察を与える。

関連論文リスト

• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks [1.4502611532302039]
  我々は,ロジットの単純な$p$-norm正規化を行い,次に最大ロジットを信頼度推定器とすることで,選択的分類性能が著しく向上することを示した。 我々の結果は、分布シフトの下で一貫していることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T18:56:55Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• A Little Robustness Goes a Long Way: Leveraging Universal Features for Targeted Transfer Attacks [4.511923587827301]
  我々は、ソース分類器を「わずかに堅牢」に訓練することで、標的攻撃の転送可能性を大幅に向上させることを示した。 この結果は非逆仮説を支持すると我々は主張する。
  論文  参考訳（メタデータ） (2021-06-03T19:53:46Z)
• Context Decoupling Augmentation for Weakly Supervised Semantic Segmentation [53.49821324597837]
  微調整されたセマンティックセグメンテーションは、近年深く研究されている困難な問題です。 本稿では、オブジェクトが現れる固有のコンテキストを変更する Context Decoupling Augmentation (CDA) メソッドを紹介します。 提案手法の有効性を検証するため, PASCAL VOC 2012データセットにいくつかの代替ネットワークアーキテクチャを用いた広範な実験を行い, CDAが様々なWSSS手法を新たな最先端技術に拡張できることを実証した。
  論文  参考訳（メタデータ） (2021-03-02T15:05:09Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)
• Linking average- and worst-case perturbation robustness via class selectivity and dimensionality [7.360807642941714]
  クラス選択性は入力データの摂動に頑健性(または脆弱性)を与えるかを検討する。 階層選択度が低いように正規化されたネットワークは、平均ケース摂動よりも頑健であることがわかった。 対照的に、クラス選択性は、複数のタイプの最悪の摂動に対して堅牢性を高める。
  論文  参考訳（メタデータ） (2020-10-14T00:45:29Z)
• Are there any 'object detectors' in the hidden layers of CNNs trained to identify objects or scenes? [5.718442081858377]
  我々は、AlexNetの大規模なユニットセットについて、様々な測定値を比較した。 異なる測度が対象選択性の異なる推定値を提供することがわかった。 我々は、リカレントニューラルネットワークで報告された「グランドマザーセル」ユニットほど遠くから選択的なユニットを見つけることができません。
  論文  参考訳（メタデータ） (2020-07-02T12:33:37Z)
• Selectivity considered harmful: evaluating the causal impact of class selectivity in DNNs [7.360807642941714]
  ネットワーク機能に対するクラス選択率の因果的影響を,クラス選択率に対して直接的あるいは正則化することにより検討する。 この正規化器を使用して、畳み込みニューラルネットワークのユニット間のクラス選択率を削減することで、Tiny ImageNetでトレーニングされたResNet18では、テスト精度が2%以上向上した。 CIFAR10でトレーニングされたResNet20では、テスト精度に影響を与えずに2.5の係数でクラス選択率を削減でき、テスト精度をわずか(sim$2%)下げるだけで、ほぼゼロに削減できる。
  論文  参考訳（メタデータ） (2020-03-03T00:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。