論文の概要: Wavelets Beat Monkeys at Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2304.09403v1
• Date: Wed, 19 Apr 2023 03:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 15:39:55.939229
• Title: Wavelets Beat Monkeys at Adversarial Robustness
• Title（参考訳）: ウェーブレットは敵のロバストさで猿を打ち負かす
• Authors: Jingtong Su and Julia Kempe
• Abstract要約: 物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかったロバスト性に対する新たな洞察をいかに生み出すかを示す。 我々の研究は、物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかった堅牢性に対する新たな洞察をいかに生み出すかを示している。
• 参考スコア（独自算出の注目度）: 0.8702432681310401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research on improving the robustness of neural networks to adversarial noise - imperceptible malicious perturbations of the data - has received significant attention. The currently uncontested state-of-the-art defense to obtain robust deep neural networks is Adversarial Training (AT), but it consumes significantly more resources compared to standard training and trades off accuracy for robustness. An inspiring recent work [Dapello et al.] aims to bring neurobiological tools to the question: How can we develop Neural Nets that robustly generalize like human vision? [Dapello et al.] design a network structure with a neural hidden first layer that mimics the primate primary visual cortex (V1), followed by a back-end structure adapted from current CNN vision models. It seems to achieve non-trivial adversarial robustness on standard vision benchmarks when tested on small perturbations. Here we revisit this biologically inspired work, and ask whether a principled parameter-free representation with inspiration from physics is able to achieve the same goal. We discover that the wavelet scattering transform can replace the complex V1-cortex and simple uniform Gaussian noise can take the role of neural stochasticity, to achieve adversarial robustness. In extensive experiments on the CIFAR-10 benchmark with adaptive adversarial attacks we show that: 1) Robustness of VOneBlock architectures is relatively weak (though non-zero) when the strength of the adversarial attack radius is set to commonly used benchmarks. 2) Replacing the front-end VOneBlock by an off-the-shelf parameter-free Scatternet followed by simple uniform Gaussian noise can achieve much more substantial adversarial robustness without adversarial training. Our work shows how physically inspired structures yield new insights into robustness that were previously only thought possible by meticulously mimicking the human cortex.
• Abstract（参考訳）: 敵対的ノイズ(知覚できない悪意のあるデータ摂動)に対するニューラルネットワークの堅牢性を改善する研究が注目されている。 現在実証されていない、堅牢なディープニューラルネットワークを得るための最先端の防御は、敵対的トレーニング(adversarial training:at)だが、標準的なトレーニングに比べてはるかに多くのリソースを消費し、堅牢性のために正確さをトレードオフする。 最近の研究(dapelloら)は、神経生物学のツールを提供することを目的としている:人間の視覚のように堅牢に一般化するニューラルネットをどうやって開発できるのか? dapelloら] 霊長類の一次視覚野(v1)を模倣する神経隠れの第1層でネットワーク構造を設計し、その後、現在のcnn視覚モデルから適応したバックエンド構造をデザインします。 小さな摂動でテストすると、標準ビジョンベンチマークで非自明な敵対的ロバスト性が達成されるようだ。 ここでは、この生物学的にインスパイアされた研究を再検討し、物理から着想を得たパラメータフリー表現が同じ目標を達成することができるかどうかを問う。 ウェーブレット散乱変換は, 複雑なV1座標と単純な一様ガウス雑音に代えて, ニューラル確率性に寄与し, 対向的強靭性を実現する。 適応的な攻撃を伴うcifar-10ベンチマークの広範な実験では、以下のことが示される。 1) VOneBlockアーキテクチャのロバスト性は, 対向攻撃半径の強度が通常用いられるベンチマークに設定された場合, 比較的弱い(ゼロではない)。 2) オフザシェルフパラメータフリーのScatternetでVOneBlockを置き換えた後, 単純な一様ガウス雑音により, 対向訓練を伴わずに, より実質的な対向ロバスト性を実現することができる。 私たちの研究は、物理的にインスパイアされた構造が、これまで人間の皮質を巧みに模倣することでしか考えられていなかった強靭さに対する新たな洞察をいかに生み出すかを示しています。

関連論文リスト

• Finite Gaussian Neurons: Defending against adversarial attacks by making neural networks say "I don't know" [0.0]
  人工ニューラルネットワークのための新しいニューロンアーキテクチャであるFinite Gaussian Neuron (FGN)を紹介する。 私の仕事は、 - 既存のモデルをFGNアーキテクチャに簡単に変換すること、 - 既存のモデルの振る舞いを実際のデータに保存すること、および、敵対的攻撃に対する抵抗を提供することである。
  論文  参考訳（メタデータ） (2023-06-13T14:17:25Z)
• Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial Defense [52.66971714830943]
  マスク付き画像モデリング(MIM)は、自己教師付き視覚表現学習のフレームワークとして普及している。 本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に対して対角的ロバスト性を提供する方法について検討する。 本稿では,デノナイジングのためのデコーダを用いて,デノナイジングのための対角防御手法を提案する。
  論文  参考訳（メタデータ） (2023-02-02T12:37:24Z)
• Understanding Adversarial Robustness from Feature Maps of Convolutional Layers [23.42376264664302]
  ニューラルネットワークの摂動能力は、主にモデル容量と摂動能力の2つの要因に依存している。 畳み込み層の特徴マップからネットワークの摂動防止能力について検討する。 自然な精度と敵の堅牢性の両面での非自明な改善は、様々な攻撃・防御機構の下で達成できる。
  論文  参考訳（メタデータ） (2022-02-25T00:14:59Z)
• Adversarial Robustness in Deep Learning: Attacks on Fragile Neurons [0.6899744489931016]
  第1畳み込み層の結節投棄を用いて, 深層学習アーキテクチャの脆弱で頑健なニューロンを同定した。 これらのニューロンは,ネットワーク上の敵攻撃の分布と相関する。
  論文  参考訳（メタデータ） (2022-01-31T14:34:07Z)
• Adversarial Attacks on Spiking Convolutional Networks for Event-based Vision [0.6999740786886537]
  我々は、ホワイトボックスの敵対的攻撃アルゴリズムが、イベントベースの視覚データの離散的かつスパースな性質にどのように適応できるかを示す。 また、ニューロモルフィックハードウェア上でのこれらの摂動の有効性を初めて検証した。
  論文  参考訳（メタデータ） (2021-10-06T17:20:05Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• On sparse connectivity, adversarial robustness, and a novel model of the artificial neuron [6.09170287691728]
  本稿では, ハードウェア要件が低く, 対向性摂動に対して固有の頑健性を有する「強いニューロン」という, 人工ニューロンの新しいモデルを提案する。 SVHN および GTSRB ベンチマークを用いて,本手法の有効性を実証する。 また、強いニューロンを構成するブロックが、敵の攻撃に対して完全な安定性を持つ唯一の活性化機能であることも証明した。
  論文  参考訳（メタデータ） (2020-06-16T20:45:08Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。