論文の概要: On 1/n neural representation and robustness
- arxiv url: http://arxiv.org/abs/2012.04729v1
- Date: Tue, 8 Dec 2020 20:34:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-17 00:19:18.254838
- Title: On 1/n neural representation and robustness
- Title(参考訳): 1/n神経表現とロバスト性について
- Authors: Josue Nassar, Piotr Aleksander Sokol, SueYeon Chung, Kenneth D.
Harris, Il Memming Park
- Abstract要約: 実験で観測された構造をニューラルネットワークに組み込むことで、敵の攻撃に対してより堅牢であることを示す。
本研究は,広いニューラルネットワークとカーネル手法に関する既存の理論を補完するものである。
- 参考スコア(独自算出の注目度): 13.491651740693705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding the nature of representation in neural networks is a goal
shared by neuroscience and machine learning. It is therefore exciting that both
fields converge not only on shared questions but also on similar approaches. A
pressing question in these areas is understanding how the structure of the
representation used by neural networks affects both their generalization, and
robustness to perturbations. In this work, we investigate the latter by
juxtaposing experimental results regarding the covariance spectrum of neural
representations in the mouse V1 (Stringer et al) with artificial neural
networks. We use adversarial robustness to probe Stringer et al's theory
regarding the causal role of a 1/n covariance spectrum. We empirically
investigate the benefits such a neural code confers in neural networks, and
illuminate its role in multi-layer architectures. Our results show that
imposing the experimentally observed structure on artificial neural networks
makes them more robust to adversarial attacks. Moreover, our findings
complement the existing theory relating wide neural networks to kernel methods,
by showing the role of intermediate representations.
- Abstract(参考訳): ニューラルネットワークにおける表現の性質を理解することは、神経科学と機械学習によって共有される目標である。
したがって、両方の分野が共有質問だけでなく、同様のアプローチにも収束することは、非常にワクワクする。
これらの領域における差し迫った疑問は、ニューラルネットワークで使われる表現の構造がそれらの一般化と摂動に対する堅牢性の両方にどのように影響するかを理解することである。
本研究では,ニューラルネットワークを用いたマウスV1(Stringer et al)における神経表現の共分散スペクトルに関する実験結果を用いて,後者について検討する。
我々は1/nの共分散スペクトルの因果的役割に関するストリンガーらの理論を探索するために、逆強靭性を用いる。
ニューラルネットワークにおけるニューラルネットワークの活用効果を実証的に検討し,多層アーキテクチャにおけるその役割を解明する。
その結果,実験で観測された構造をニューラルネットワークに組み込むことで,敵の攻撃に対してより堅牢であることが示唆された。
さらに、中間表現の役割を示すことによって、幅広いニューラルネットワークとカーネル手法に関する既存の理論を補完する。
関連論文リスト
- Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。
ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。
我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
論文 参考訳(メタデータ) (2024-01-31T16:31:54Z) - Learn to integrate parts for whole through correlated neural variability [8.173681663544757]
感覚知覚は感覚ニューロンの反応に起因し、特定の知覚物体の物理的特性に関連付けられた知覚信号の集まりに反応する。
これらの神経反応から脳がどのように知覚情報を抽出するかを明らかにすることは、計算神経科学と機械学習の両方において重要な課題である。
本稿では,知覚情報を知覚ニューロンの相関変数に符号化し,下流ニューロンの発火速度に変換する統計力学理論を提案する。
論文 参考訳(メタデータ) (2024-01-01T13:05:29Z) - Probing Biological and Artificial Neural Networks with Task-dependent
Neural Manifolds [12.037840490243603]
本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。
学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。
これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
論文 参考訳(メタデータ) (2023-12-21T20:40:51Z) - Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳(メタデータ) (2023-10-16T17:04:51Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳(メタデータ) (2022-06-13T12:03:32Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳(メタデータ) (2022-05-30T18:04:57Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。
我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。
本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-08-01T00:58:54Z) - The Representation Theory of Neural Networks [7.724617675868718]
ニューラルネットワークは、量子表現の数学的理論によって表現できることを示す。
ネットワーククイバーが共通のニューラルネットワークの概念に優しく適応していることを示します。
また、ニューラルネットワークがデータから表現を生成する方法を理解するためのクイバー表現モデルも提供します。
論文 参考訳(メタデータ) (2020-07-23T19:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。