論文の概要: Exploring Adversarial Examples and Adversarial Robustness of
Convolutional Neural Networks by Mutual Information
- arxiv url: http://arxiv.org/abs/2207.05756v1
- Date: Tue, 12 Jul 2022 13:25:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-14 12:25:24.173806
- Title: Exploring Adversarial Examples and Adversarial Robustness of
Convolutional Neural Networks by Mutual Information
- Title（参考訳）: 相互情報を用いた畳み込みニューラルネットワークの逆例と逆ロバスト性探索
- Authors: Jiebao Zhang, Wenhua Qian, Rencan Nie, Jinde Cao, Dan Xu
- Abstract要約: 本研究では,情報抽出における2種類の畳み込みニューラルネットワーク(CNN)の類似性と相違について検討する。
敵対的な例がCNNを誤解させた理由は、それらが他のカテゴリに関するテクスチャベースの情報を含んでいるからかもしれない。
通常訓練されたCNNは入力からテクスチャベースの情報を抽出する傾向があり、逆学習されたモデルは形状ベースの情報を好む。
- 参考スコア（独自算出の注目度）: 44.841339443764696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A counter-intuitive property of convolutional neural networks (CNNs) is their
inherent susceptibility to adversarial examples, which severely hinders the
application of CNNs in security-critical fields. Adversarial examples are
similar to original examples but contain malicious perturbations. Adversarial
training is a simple and effective training method to improve the robustness of
CNNs to adversarial examples. The mechanisms behind adversarial examples and
adversarial training are worth exploring. Therefore, this work investigates
similarities and differences between two types of CNNs (both normal and robust
ones) in information extraction by observing the trends towards the mutual
information. We show that 1) the amount of mutual information that CNNs extract
from original and adversarial examples is almost similar, whether CNNs are in
normal training or adversarial training; the reason why adversarial examples
mislead CNNs may be that they contain more texture-based information about
other categories; 2) compared with normal training, adversarial training is
more difficult and the amount of information extracted by the robust CNNs is
less; 3) the CNNs trained with different methods have different preferences for
certain types of information; normally trained CNNs tend to extract
texture-based information from the inputs, while adversarially trained models
prefer to shape-based information. Furthermore, we also analyze the mutual
information estimators used in this work, kernel-density-estimation and binning
methods, and find that these estimators outline the geometric properties of the
middle layer's output to a certain extent.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の直感的特性は、敵の例に固有の感受性であり、セキュリティクリティカルな分野におけるCNNの適用を著しく妨げている。
敵対的な例は元の例に似ているが、悪意のある摂動を含んでいる。
対人訓練は、CNNの堅牢性を改善するための単純で効果的な訓練方法である。
敵の例と敵の訓練の背後にあるメカニズムを探求する価値がある。
そこで本研究では,情報抽出における2種類のcnn(正規およびロバストの両方)の類似性と相違について,相互情報に対する傾向を観察することで検討する。
私たちはそれを示します
1) CNNが本来の事例から抽出した相互情報の量は, CNNが通常の訓練中であっても, 敵の訓練中であってもほぼ同様であり, 敵の事例がCNNを誤解させる理由として, 他のカテゴリに関するテクスチャベースの情報が多く含まれていることが挙げられる。
2) 通常の訓練に比べ, 対向訓練は困難であり, 頑健なcnnによる情報抽出量は少ない。
3)異なる手法で訓練されたcnnは、特定の種類の情報に対して異なる好みを持ち、通常訓練されたcnnは入力からテクスチャに基づく情報を抽出する傾向があり、反対に訓練されたモデルは形状に基づく情報を好む。
さらに,本研究では,カーネル密度推定法と結合法を用いて相互情報推定器の解析を行い,中間層の出力の幾何的特性をある程度概説した。
関連論文リスト
- Unfolding Local Growth Rate Estimates for (Almost) Perfect Adversarial
Detection [22.99930028876662]
畳み込みニューラルネットワーク(CNN)は、多くの知覚的タスクにおける最先端のソリューションを定義する。
現在のCNNアプローチは、システムを騙すために特別に作られた入力の敵の摂動に対して脆弱なままである。
本稿では,ネットワークの局所固有次元(LID)と敵攻撃の関係について,最近の知見を生かした,シンプルで軽量な検出器を提案する。
論文 参考訳（メタデータ） (2022-12-13T17:51:32Z) - A novel feature-scrambling approach reveals the capacity of
convolutional neural networks to learn spatial relations [0.0]
畳み込みニューラルネットワーク(CNN)は、物体認識を解く最も成功したコンピュータビジョンシステムの一つである。
しかし、CNNが実際にどのように決断を下すのか、内部表現の性質や認識戦略が人間とどのように異なるのかは、いまだに理解されていない。
論文 参考訳（メタデータ） (2022-12-12T16:40:29Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - Informative Dropout for Robust Representation Learning: A Shape-bias
Perspective [84.30946377024297]
Informative Dropout (InfoDrop) と呼ばれる軽量モデル非依存の手法を提案し, 解釈性の向上とテクスチャバイアスの低減を図る。
具体的には、画像中の局所的な自己情報に基づいて形状からテクスチャを識別し、Dropoutのようなアルゴリズムを用いて局所的なテクスチャからのモデル出力をデコレーションする。
論文 参考訳（メタデータ） (2020-08-10T16:52:24Z) - The shape and simplicity biases of adversarially robust ImageNet-trained
CNNs [9.707679445925516]
本稿では,AlexNet,GoogLeNet,ResNet-50モデルの汎用性を実現するための形状バイアスと内部機構について検討する。
興味深いことに、敵の訓練はCNNの「不正化」過程において隠れたニューロンに3つの単純バイアスを誘導する。
論文 参考訳（メタデータ） (2020-06-16T16:38:16Z) - An Information-theoretic Visual Analysis Framework for Convolutional
Neural Networks [11.15523311079383]
CNNモデルから抽出可能なデータを整理するデータモデルを提案する。
次に、異なる状況下でエントロピーを計算する2つの方法を提案する。
我々は,モデル内の情報変化量をインタラクティブに探索する視覚解析システムCNNSlicerを開発した。
論文 参考訳（メタデータ） (2020-05-02T21:36:50Z) - Transferable Perturbations of Deep Feature Distributions [102.94094966908916]
本研究は,クラスワイドおよび層ワイドな特徴分布のモデリングと利用に基づく新たな敵攻撃を提案する。
我々は、未定義の画像ネットモデルに対して、最先端のブラックボックス転送に基づく攻撃結果を得る。
論文 参考訳（メタデータ） (2020-04-27T00:32:25Z) - Hold me tight! Influence of discriminative features on deep network
boundaries [63.627760598441796]
本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。
これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
論文 参考訳（メタデータ） (2020-02-15T09:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。