論文の概要: A Brain-Inspired Regularizer for Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2410.03952v2
• Date: Fri, 11 Oct 2024 01:24:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 15:10:07.514809
• Title: A Brain-Inspired Regularizer for Adversarial Robustness
• Title（参考訳）: 対向ロバスト性のための脳誘発正則化器
• Authors: Elie Attias, Cengiz Pehlevan, Dina Obeid,
• Abstract要約: 近年の研究では、脳に似た表現を促進する正則化器を用いたCNNのトレーニングが、ニューラル記録を用いて、モデルロバスト性を改善することが示されている。 我々は,オリジナルの本質を保ちながら,画像画素の類似性を用いて計算される新たな正規化器を導入し,ニューラル記録の必要性を排除した。 我々の研究は、生物学的に動機付けられた損失関数が人工ニューラルネットワークの性能向上にどのように役立つかを探る。
• 参考スコア（独自算出の注目度）: 25.57552719924835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNNs) excel in many visual tasks, but they tend to be sensitive to slight input perturbations that are imperceptible to the human eye, often resulting in task failures. Recent studies indicate that training CNNs with regularizers that promote brain-like representations, using neural recordings, can improve model robustness. However, the requirement to use neural data severely restricts the utility of these methods. Is it possible to develop regularizers that mimic the computational function of neural regularizers without the need for neural recordings, thereby expanding the usability and effectiveness of these techniques? In this work, we inspect a neural regularizer introduced in Li et al. (2019) to extract its underlying strength. The regularizer uses neural representational similarities, which we find also correlate with pixel similarities. Motivated by this finding, we introduce a new regularizer that retains the essence of the original but is computed using image pixel similarities, eliminating the need for neural recordings. We show that our regularization method 1) significantly increases model robustness to a range of black box attacks on various datasets and 2) is computationally inexpensive and relies only on original datasets. Our work explores how biologically motivated loss functions can be used to drive the performance of artificial neural networks.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は多くの視覚的タスクに優れるが、人間の目には知覚できないわずかな入力摂動に敏感であり、しばしばタスクの失敗をもたらす。 近年の研究では、脳に似た表現を促進する正則化器を用いたCNNのトレーニングが、ニューラル記録を用いて、モデルロバスト性を改善することが示されている。 しかしながら、ニューラルネットワークの使用要件は、これらの方法の有用性を厳しく制限する。 ニューラル記録を必要とせずに、ニューラルレギュレータの計算機能を模倣する正規化器を開発することは可能か? 本研究では、Li et al (2019) で導入された神経正則化器を検査し、その基礎となる強度を抽出する。 正規化器は神経表現類似性を用いており、画素類似性とも相関している。 この発見に触発され,オリジナルの本質を保ちながら画像画素の類似性を用いて計算される新たな正則化器を導入し,ニューラル記録の必要性を排除した。 我々の正規化方法が示す。 1) モデルロバスト性は, 各種データセットに対するブラックボックス攻撃の範囲に大きく向上した。 2) 計算コストが低く、元のデータセットにのみ依存する。 我々の研究は、生物学的に動機付けられた損失関数が人工ニューラルネットワークの性能向上にどのように役立つかを探る。

関連論文リスト

• Growing Deep Neural Network Considering with Similarity between Neurons [4.32776344138537]
  我々は、訓練段階におけるコンパクトモデルにおいて、ニューロン数を漸進的に増加させる新しいアプローチを探求する。 本稿では,ニューロン類似性分布に基づく制約を導入することにより,特徴抽出バイアスと神経冗長性を低減する手法を提案する。 CIFAR-10とCIFAR-100データセットの結果、精度が向上した。
  論文  参考訳（メタデータ） (2024-08-23T11:16:37Z)
• When Spiking neural networks meet temporal attention image decoding and adaptive spiking neuron [7.478056407323783]
  スパイキングニューラルネットワーク(SNN)は、生物学的に妥当な方法で時間情報をエンコードし、処理することができる。 本稿では,時間的注意(TAID)に基づく画像復号法と適応型Leaky-Integrate-and-Fireニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:21:55Z)
• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Training Deep Spiking Auto-encoders without Bursting or Dying Neurons through Regularization [9.34612743192798]
  スパイクニューラルネットワークは、計算神経科学における次世代の脳モデルに対する有望なアプローチである。 膜電位に基づくバックプロパゲーションを用いたエンドツーエンド学習を、スパイクする畳み込みオートエンコーダに適用する。 膜電位とスパイク出力に正規化を適用することで、死と破裂の両方のニューロンをうまく回避できることを示す。
  論文  参考訳（メタデータ） (2021-09-22T21:27:40Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。