論文の概要: Neural Population Geometry Reveals the Role of Stochasticity in Robust
Perception
- arxiv url: http://arxiv.org/abs/2111.06979v1
- Date: Fri, 12 Nov 2021 22:59:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 17:35:14.120845
- Title: Neural Population Geometry Reveals the Role of Stochasticity in Robust
Perception
- Title（参考訳）: 神経集団計測によるロバスト知覚における確率性の役割
- Authors: Joel Dapello, Jenelle Feather, Hang Le, Tiago Marques, David D. Cox,
Josh H. McDermott, James J. DiCarlo, SueYeon Chung
- Abstract要約: 本稿では,視覚神経ネットワークの内部表現に逆方向の摂動がどのような影響を及ぼすかを検討する。
ネットワークの種類ごとに異なる幾何学的シグネチャを見つけ,ロバスト表現を実現するための異なるメカニズムを明らかにする。
我々の結果は、堅牢な知覚ネットワークの戦略に光を当て、幾何学性が機械や生物学的計算にどのように役立つかを説明するのに役立ちました。
- 参考スコア（独自算出の注目度）: 16.60105791126744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial examples are often cited by neuroscientists and machine learning
researchers as an example of how computational models diverge from biological
sensory systems. Recent work has proposed adding biologically-inspired
components to visual neural networks as a way to improve their adversarial
robustness. One surprisingly effective component for reducing adversarial
vulnerability is response stochasticity, like that exhibited by biological
neurons. Here, using recently developed geometrical techniques from
computational neuroscience, we investigate how adversarial perturbations
influence the internal representations of standard, adversarially trained, and
biologically-inspired stochastic networks. We find distinct geometric
signatures for each type of network, revealing different mechanisms for
achieving robust representations. Next, we generalize these results to the
auditory domain, showing that neural stochasticity also makes auditory models
more robust to adversarial perturbations. Geometric analysis of the stochastic
networks reveals overlap between representations of clean and adversarially
perturbed stimuli, and quantitatively demonstrates that competing geometric
effects of stochasticity mediate a tradeoff between adversarial and clean
performance. Our results shed light on the strategies of robust perception
utilized by adversarially trained and stochastic networks, and help explain how
stochasticity may be beneficial to machine and biological computation.
- Abstract（参考訳）: 敵対的な例は、しばしば神経科学者や機械学習研究者によって、計算モデルが生物学的感覚システムからどのように分岐するかの例として言及されている。
最近の研究は、生物学的にインスパイアされたコンポーネントを視覚神経ネットワークに追加することを提案した。
逆境の脆弱性を減らすための驚くほど効果的なコンポーネントは、生物学的ニューロンが示すような応答確率である。
本稿では,近年開発された計算神経科学の幾何学的手法を用いて,標準的,逆に訓練された,生物学的にインスパイアされた確率的ネットワークの内部表現に,逆向摂動が与える影響について検討する。
ネットワークの種類ごとに異なる幾何学的シグネチャを見つけ,ロバスト表現を実現するための異なるメカニズムを明らかにする。
次に、これらの結果を聴覚領域に一般化し、神経確率性により、対向的摂動に対してより堅牢な聴覚モデルが得られることを示す。
確率ネットワークの幾何学的解析は、クリーンな摂動刺激と逆向きな摂動刺激の表現の重なりを明らかにし、確率性の競合する幾何学的効果が対向性とクリーンなパフォーマンスのトレードオフを仲介することを定量的に示す。
本研究は,対向的訓練と確率的ネットワークを用いたロバスト知覚の戦略に光を当て,確率性が機械・生物計算にどのように有用かを説明するのに役立つ。
関連論文リスト
- Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。
ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。
我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
論文 参考訳（メタデータ） (2024-07-01T04:25:49Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Exploring mechanisms of Neural Robustness: probing the bridge between geometry and spectrum [0.0]
本研究では, 重み, ジャコビアン, スペクトル正規化による表現の滑らかさとスペクトルの関係について検討した。
本研究の目的は, 神経表現における幾何学的特徴, スペクトル特性, 頑健性, 表現性の間の相互作用を理解することである。
論文 参考訳（メタデータ） (2024-02-05T12:06:00Z) - Investigating Human-Identifiable Features Hidden in Adversarial
Perturbations [54.39726653562144]
我々の研究では、最大5つの攻撃アルゴリズムを3つのデータセットにわたって探索する。
対人摂動における人間の識別可能な特徴を同定する。
画素レベルのアノテーションを用いて、そのような特徴を抽出し、ターゲットモデルに妥協する能力を実証する。
論文 参考訳（メタデータ） (2023-09-28T22:31:29Z) - Impact of spiking neurons leakages and network recurrences on
event-based spatio-temporal pattern recognition [0.0]
ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。
スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
論文 参考訳（メタデータ） (2022-11-14T21:34:02Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳（メタデータ） (2022-05-30T18:04:57Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Formalizing Generalization and Robustness of Neural Networks to Weight
Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。
また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文 参考訳（メタデータ） (2021-03-03T06:17:03Z) - Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。
我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。
本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-01T00:58:54Z) - Relationship between manifold smoothness and adversarial vulnerability
in deep learning with local errors [2.7834038784275403]
ニューラルネットワークにおける敵の脆弱性の起源について検討する。
本研究は,隠れ表現の固有スペクトルの比較的高速なパワーロー崩壊を必要とすることを明らかにする。
論文 参考訳（メタデータ） (2020-07-04T08:47:51Z) - Can you tell? SSNet -- a Sagittal Stratum-inspired Neural Network
Framework for Sentiment Analysis [1.0312968200748118]
感情分析のための頑健で高精度な分類器を構築するために,同じテキスト上で異なるモデルの予測を組み合わせるニューラルネットワークアーキテクチャを提案する。
そこで本研究では,専用ニューラルネットワークをベースとした複数の予測と,その数学的解析と,最先端の実験結果を組み合わせるための体系的な新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-06-23T12:55:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。