論文の概要: Relationship between manifold smoothness and adversarial vulnerability in deep learning with local errors

• arxiv url: http://arxiv.org/abs/2007.02047v2
• Date: Wed, 23 Dec 2020 05:27:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 13:02:58.900255
• Title: Relationship between manifold smoothness and adversarial vulnerability in deep learning with local errors
• Title（参考訳）: 局所的誤りを伴う深層学習における多様体の滑らかさと敵対的脆弱性の関係
• Authors: Zijian Jiang, Jianwen Zhou, and Haiping Huang
• Abstract要約: ニューラルネットワークにおける敵の脆弱性の起源について検討する。 本研究は,隠れ表現の固有スペクトルの比較的高速なパワーロー崩壊を必要とすることを明らかにする。
• 参考スコア（独自算出の注目度）: 2.7834038784275403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks can achieve impressive performances, and even outperform humans in some specific tasks. Nevertheless, unlike biological brains, the artificial neural networks suffer from tiny perturbations in sensory input, under various kinds of adversarial attacks. It is therefore necessary to study the origin of the adversarial vulnerability. Here, we establish a fundamental relationship between geometry of hidden representations (manifold perspective) and the generalization capability of the deep networks. For this purpose, we choose a deep neural network trained by local errors, and then analyze emergent properties of trained networks through the manifold dimensionality, manifold smoothness, and the generalization capability. To explore effects of adversarial examples, we consider independent Gaussian noise attacks and fast-gradient-sign-method (FGSM) attacks. Our study reveals that a high generalization accuracy requires a relatively fast power-law decay of the eigen-spectrum of hidden representations. Under Gaussian attacks, the relationship between generalization accuracy and power-law exponent is monotonic, while a non-monotonic behavior is observed for FGSM attacks. Our empirical study provides a route towards a final mechanistic interpretation of adversarial vulnerability under adversarial attacks.
• Abstract（参考訳）: ニューラルネットワークは印象的なパフォーマンスを達成し、特定のタスクで人間よりも優れています。 それにもかかわらず、生物学的脳とは異なり、ニューラルネットワークは様々な種類の敵の攻撃下で、感覚入力の小さな摂動に苦しむ。 したがって、敵の脆弱性の起源を研究する必要がある。 ここでは,隠蔽表現の幾何学(多様体パースペクティブ)と深層ネットワークの一般化能力の基本的な関係を確立する。 この目的のために,局所誤差で学習した深層ニューラルネットワークを選択し,多様体次元,多様体滑らか性,一般化能力を通じて学習したネットワークの創発的特性を分析する。 敵対的事例の効果を探るため,独立系ガウス雑音攻撃とFGSM攻撃について検討する。 本研究は,隠れ表現の固有スペクトルの比較的高速なパワーロー崩壊を必要とすることを明らかにする。 ガウス攻撃では、一般化精度とパワーロー指数の関係は単調であり、FGSM攻撃では非単調な振る舞いが観察される。 我々の実証研究は、敵の攻撃下での敵の脆弱性に関する最終的な機械的な解釈への道筋を提供する。

関連論文リスト

• On The Relationship Between Universal Adversarial Attacks And Sparse Representations [38.43938212884298]
  敵攻撃とスパース表現の関連性を示す。 ニューラルネットワークに対する一般的な攻撃は、入力画像のスパース表現に対する攻撃として表現することができる。
  論文  参考訳（メタデータ） (2023-11-14T16:00:29Z)
• Investigating Human-Identifiable Features Hidden in Adversarial Perturbations [54.39726653562144]
  我々の研究では、最大5つの攻撃アルゴリズムを3つのデータセットにわたって探索する。 対人摂動における人間の識別可能な特徴を同定する。 画素レベルのアノテーションを用いて、そのような特徴を抽出し、ターゲットモデルに妥協する能力を実証する。
  論文  参考訳（メタデータ） (2023-09-28T22:31:29Z)
• Spatial-Frequency Discriminability for Revealing Adversarial Perturbations [53.279716307171604]
  敵の摂動に対するディープニューラルネットワークの脆弱性は、コンピュータビジョンコミュニティで広く認識されている。 現在のアルゴリズムは、通常、自然および敵対的なデータの識別的分解を通じて、敵のパターンを検出する。 空間周波数Krawtchouk分解に基づく識別検出器を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:18:59Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)
• Pruning in the Face of Adversaries [0.0]
  ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。 その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。 分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
  論文  参考訳（メタデータ） (2021-08-19T09:06:16Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。