論文の概要: Visual Analytics of Neuron Vulnerability to Adversarial Attacks on
Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2303.02814v1
- Date: Mon, 6 Mar 2023 01:01:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 17:38:16.821338
- Title: Visual Analytics of Neuron Vulnerability to Adversarial Attacks on
Convolutional Neural Networks
- Title（参考訳）: 畳み込みニューラルネットワークの逆攻撃に対するニューロン脆弱性の視覚的解析
- Authors: Yiran Li, Junpeng Wang, Takanori Fujiwara, Kwan-Liu Ma
- Abstract要約: 畳み込みニューラルネットワーク(CNN)に対する敵対的攻撃は、高性能CNNを騙して誤った予測をする可能性がある。
我々の研究は、敵の攻撃を理解するための視覚分析手法を導入している。
視覚分析システムは、敵対的攻撃を解釈するための視覚的推論を組み込むように設計されている。
- 参考スコア（独自算出の注目度）: 28.081328051535618
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial attacks on a convolutional neural network (CNN) -- injecting
human-imperceptible perturbations into an input image -- could fool a
high-performance CNN into making incorrect predictions. The success of
adversarial attacks raises serious concerns about the robustness of CNNs, and
prevents them from being used in safety-critical applications, such as medical
diagnosis and autonomous driving. Our work introduces a visual analytics
approach to understanding adversarial attacks by answering two questions: (1)
which neurons are more vulnerable to attacks and (2) which image features do
these vulnerable neurons capture during the prediction? For the first question,
we introduce multiple perturbation-based measures to break down the attacking
magnitude into individual CNN neurons and rank the neurons by their
vulnerability levels. For the second, we identify image features (e.g., cat
ears) that highly stimulate a user-selected neuron to augment and validate the
neuron's responsibility. Furthermore, we support an interactive exploration of
a large number of neurons by aiding with hierarchical clustering based on the
neurons' roles in the prediction. To this end, a visual analytics system is
designed to incorporate visual reasoning for interpreting adversarial attacks.
We validate the effectiveness of our system through multiple case studies as
well as feedback from domain experts.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)に対する敵対的攻撃 – 人間の知覚できない摂動を入力画像に注入 – は、高性能CNNを騙して誤った予測を行う可能性がある。
敵対的攻撃の成功は、CNNの堅牢性に対する深刻な懸念を生じさせ、医療診断や自律運転などの安全上重要な応用に使用できないようにする。
本研究は,(1)どのニューロンが攻撃に対して脆弱であるか,(2)予測中にこれらの脆弱なニューロンがどのような画像特徴を捉えているか,という2つの質問に回答することで,敵対的攻撃を理解するための視覚的解析手法を提案する。
最初の質問では、攻撃の規模を個々のCNNニューロンに分解し、その脆弱性レベルでニューロンをランク付けするための複数の摂動に基づく対策を導入する。
第2に、ユーザが選択したニューロンを刺激してニューロンの責任を増強し、検証する画像の特徴(例えば猫の耳)を特定する。
さらに,予測におけるニューロンの役割に基づいて階層的クラスタリングを行うことにより,多数のニューロンの対話的探索を支援する。
この目的のために、視覚分析システムは、敵対的攻撃を解釈するための視覚的推論を組み込むように設計されている。
複数のケーススタディとドメインエキスパートからのフィードバックを通じて,システムの有効性を検証する。
関連論文リスト
- Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。
ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。
以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
論文 参考訳（メタデータ） (2024-06-06T17:59:52Z) - Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems [3.604033202771937]
ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
論文 参考訳（メタデータ） (2023-10-17T17:41:28Z) - Investigating Human-Identifiable Features Hidden in Adversarial
Perturbations [54.39726653562144]
我々の研究では、最大5つの攻撃アルゴリズムを3つのデータセットにわたって探索する。
対人摂動における人間の識別可能な特徴を同定する。
画素レベルのアノテーションを用いて、そのような特徴を抽出し、ターゲットモデルに妥協する能力を実証する。
論文 参考訳（メタデータ） (2023-09-28T22:31:29Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳（メタデータ） (2022-05-30T18:04:57Z) - Improving Adversarial Transferability via Neuron Attribution-Based
Attacks [35.02147088207232]
本稿では,より正確なニューロン重要度推定を行う機能レベルアタック(NAA)を提案する。
我々は、オーバーヘッドを大幅に減らすために、ニューロンの属性の近似スキームを導出する。
実験により、最先端のベンチマークに対する我々のアプローチの優位性が確認された。
論文 参考訳（メタデータ） (2022-03-31T13:47:30Z) - Adversarial Robustness in Deep Learning: Attacks on Fragile Neurons [0.6899744489931016]
第1畳み込み層の結節投棄を用いて, 深層学習アーキテクチャの脆弱で頑健なニューロンを同定した。
これらのニューロンは,ネットワーク上の敵攻撃の分布と相関する。
論文 参考訳（メタデータ） (2022-01-31T14:34:07Z) - Adversarial Attacks on Spiking Convolutional Networks for Event-based
Vision [0.6999740786886537]
我々は、ホワイトボックスの敵対的攻撃アルゴリズムが、イベントベースの視覚データの離散的かつスパースな性質にどのように適応できるかを示す。
また、ニューロモルフィックハードウェア上でのこれらの摂動の有効性を初めて検証した。
論文 参考訳（メタデータ） (2021-10-06T17:20:05Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。