Fugu-MT 論文翻訳(概要): The shape and simplicity biases of adversarially robust ImageNet-trained CNNs

論文の概要: The shape and simplicity biases of adversarially robust ImageNet-trained CNNs

arxiv url: http://arxiv.org/abs/2006.09373v6
Date: Mon, 12 Sep 2022 13:13:07 GMT
ステータス: 処理完了
システム内更新日: 2022-11-20 19:56:14.360289
Title: The shape and simplicity biases of adversarially robust ImageNet-trained CNNs
Title（参考訳）: ImageNet-trained CNNの形状と単純さの偏り
Authors: Peijie Chen, Chirag Agarwal, Anh Nguyen
Abstract要約: 本稿では,AlexNet,GoogLeNet,ResNet-50モデルの汎用性を実現するための形状バイアスと内部機構について検討する。興味深いことに、敵の訓練はCNNの「不正化」過程において隠れたニューロンに3つの単純バイアスを誘導する。
参考スコア（独自算出の注目度）: 9.707679445925516
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Increasingly more similarities between human vision and convolutional neural networks (CNNs) have been revealed in the past few years. Yet, vanilla CNNs often fall short in generalizing to adversarial or out-of-distribution (OOD) examples which humans demonstrate superior performance. Adversarial training is a leading learning algorithm for improving the robustness of CNNs on adversarial and OOD data; however, little is known about the properties, specifically the shape bias and internal features learned inside adversarially-robust CNNs. In this paper, we perform a thorough, systematic study to understand the shape bias and some internal mechanisms that enable the generalizability of AlexNet, GoogLeNet, and ResNet-50 models trained via adversarial training. We find that while standard ImageNet classifiers have a strong texture bias, their R counterparts rely heavily on shapes. Remarkably, adversarial training induces three simplicity biases into hidden neurons in the process of "robustifying" CNNs. That is, each convolutional neuron in R networks often changes to detecting (1) pixel-wise smoother patterns, i.e., a mechanism that blocks high-frequency noise from passing through the network; (2) more lower-level features i.e. textures and colors (instead of objects);and (3) fewer types of inputs. Our findings reveal the interesting mechanisms that made networks more adversarially robust and also explain some recent findings e.g., why R networks benefit from a much larger capacity (Xie et al. 2020) and can act as a strong image prior in image synthesis (Santurkar et al. 2019).
Abstract（参考訳）: 人間の視覚と畳み込みニューラルネットワーク(CNN)の類似性は、ここ数年でますます高まっている。しかしながら、バニラCNNは、人間が優れたパフォーマンスを示す敵対的またはアウト・オブ・ディストリビューション(OOD)の例を一般化するのに不足することが多い。逆行訓練は、CNNの逆行性およびOODデータに対する堅牢性を改善するための主要な学習アルゴリズムであるが、その特性、特に逆行性CNNの内部で学んだ形状バイアスと内部特徴についてはほとんど知られていない。本稿では,alexnet,googlenet,resnet-50モデルの汎用性を実現するための,形状バイアスと内部機構を理解するための徹底的かつ体系的な研究を行う。標準のImageNet分類器はテクスチャバイアスが強いが、Rの分類器は形状に大きく依存している。興味深いことに、敵の訓練はCNNの「不正化」過程において隠れたニューロンに3つの単純バイアスを誘導する。すなわち、Rネットワーク内の各畳み込みニューロンは、(1) ピクセル単位のスムーズなパターン、すなわち、ネットワークを通過する高周波ノイズを遮断するメカニズム、(2) テクスチャや色(オブジェクトの代わりに)より低レベルな特徴、(3) 入力の種類がより少ないことを検出するようになる。我々の発見は、ネットワークをより逆向きに堅牢にする興味深いメカニズムを明らかにし、また、なぜRネットワークがより大きな容量(Xie et al. 2020)から恩恵を受け、画像合成に先立って強いイメージとして機能するか(Santurkar et al. 2019)といった最近の発見を説明している。

関連論文リスト

Using Human-like Mechanism to Weaken Effect of Pre-training Weight Bias in Face-Recognition Convolutional Neural Network [6.0950431324191845]
我々は,神経科学者によってヒト様のモデルとして解析されたCNN(AlexNet,VGG11,VGG13,VGG16)4種に着目した。我々はこれらのCNNを伝達学習により感情価分類タスクに訓練した。次に、神経科学と行動データに基づく自己認識機構を用いて、オブジェクトベースのAlexNetを更新する。
論文参考訳（メタデータ） (2023-10-20T17:22:57Z)
Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer [2.026424957803652]
畳み込みニューラルネットワーク(CNN)がオブジェクト認識においてより正確になるにつれて、それらの表現は霊長類の視覚システムとよりよく似ている。この問題に対処する以前の試みは、正規化法の制限により、精度が極端に向上した。我々は,CNNのイメージ表現とサル視覚野との類似性を最適化するために,ディープ相関解析(DCCA)を用いた新しいCNN用ニューラルデータ正規化器を開発した。
論文参考訳（メタデータ） (2022-09-06T15:40:39Z)
Exploring Adversarial Examples and Adversarial Robustness of Convolutional Neural Networks by Mutual Information [44.841339443764696]
本研究では,情報抽出における2種類の畳み込みニューラルネットワーク(CNN)の類似性と相違について検討する。敵対的な例がCNNを誤解させた理由は、それらが他のカテゴリに関するテクスチャベースの情報を含んでいるからかもしれない。通常訓練されたCNNは入力からテクスチャベースの情報を抽出する傾向があり、逆学習されたモデルは形状ベースの情報を好む。
論文参考訳（メタデータ） (2022-07-12T13:25:42Z)
Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文参考訳（メタデータ） (2021-08-16T03:58:00Z)
BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文参考訳（メタデータ） (2021-03-14T20:43:19Z)
The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
論文参考訳（メタデータ） (2021-01-29T07:46:39Z)
Extreme Value Preserving Networks [65.2037926048262]
最近の証拠は、畳み込みニューラルネットワーク(CNN)がテクスチャに偏りがあることを示しており、CNNはテクスチャに逆らう摂動に対して損なわれない。本稿では,SIFTの優れた特性を活用してCNNアーキテクチャを改良し,精度と堅牢性を向上させることを目的とする。
論文参考訳（メタデータ） (2020-11-17T02:06:52Z)
Informative Dropout for Robust Representation Learning: A Shape-bias Perspective [84.30946377024297]
Informative Dropout (InfoDrop) と呼ばれる軽量モデル非依存の手法を提案し, 解釈性の向上とテクスチャバイアスの低減を図る。具体的には、画像中の局所的な自己情報に基づいて形状からテクスチャを識別し、Dropoutのようなアルゴリズムを用いて局所的なテクスチャからのモデル出力をデコレーションする。
論文参考訳（メタデータ） (2020-08-10T16:52:24Z)
Teaching CNNs to mimic Human Visual Cognitive Process & regularise Texture-Shape bias [18.003188982585737]
コンピュータビジョンにおける最近の実験は、畳み込みニューラルネットワーク(CNN)を用いたモデルにおいて、テクスチャバイアスが最高の結果の主因であることを実証している。コスト関数は、CNNが欲張りなアプローチを採り、テクスチャのような局所的な情報に対する生産性を向上させ、その結果、グローバルな統計を探索することができないと信じられている。画像の再構成と分類に形状,テクスチャ,エッジなどの人間の解釈可能な特徴を活用するために,心理学における特徴統合理論から着想を得た,新しい直感的なアーキテクチャであるCognitiveCNNを提案する。
論文参考訳（メタデータ） (2020-06-25T22:32:54Z)
Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文参考訳（メタデータ） (2020-06-20T16:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。