論文の概要: On 1/n neural representation and robustness

• arxiv url: http://arxiv.org/abs/2012.04729v1
• Date: Tue, 8 Dec 2020 20:34:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 00:19:18.254838
• Title: On 1/n neural representation and robustness
• Title（参考訳）: 1/n神経表現とロバスト性について
• Authors: Josue Nassar, Piotr Aleksander Sokol, SueYeon Chung, Kenneth D. Harris, Il Memming Park
• Abstract要約: 実験で観測された構造をニューラルネットワークに組み込むことで、敵の攻撃に対してより堅牢であることを示す。 本研究は,広いニューラルネットワークとカーネル手法に関する既存の理論を補完するものである。
• 参考スコア（独自算出の注目度）: 13.491651740693705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the nature of representation in neural networks is a goal shared by neuroscience and machine learning. It is therefore exciting that both fields converge not only on shared questions but also on similar approaches. A pressing question in these areas is understanding how the structure of the representation used by neural networks affects both their generalization, and robustness to perturbations. In this work, we investigate the latter by juxtaposing experimental results regarding the covariance spectrum of neural representations in the mouse V1 (Stringer et al) with artificial neural networks. We use adversarial robustness to probe Stringer et al's theory regarding the causal role of a 1/n covariance spectrum. We empirically investigate the benefits such a neural code confers in neural networks, and illuminate its role in multi-layer architectures. Our results show that imposing the experimentally observed structure on artificial neural networks makes them more robust to adversarial attacks. Moreover, our findings complement the existing theory relating wide neural networks to kernel methods, by showing the role of intermediate representations.
• Abstract（参考訳）: ニューラルネットワークにおける表現の性質を理解することは、神経科学と機械学習によって共有される目標である。 したがって、両方の分野が共有質問だけでなく、同様のアプローチにも収束することは、非常にワクワクする。 これらの領域における差し迫った疑問は、ニューラルネットワークで使われる表現の構造がそれらの一般化と摂動に対する堅牢性の両方にどのように影響するかを理解することである。 本研究では,ニューラルネットワークを用いたマウスV1(Stringer et al)における神経表現の共分散スペクトルに関する実験結果を用いて,後者について検討する。 我々は1/nの共分散スペクトルの因果的役割に関するストリンガーらの理論を探索するために、逆強靭性を用いる。 ニューラルネットワークにおけるニューラルネットワークの活用効果を実証的に検討し,多層アーキテクチャにおけるその役割を解明する。 その結果,実験で観測された構造をニューラルネットワークに組み込むことで,敵の攻撃に対してより堅牢であることが示唆された。 さらに、中間表現の役割を示すことによって、幅広いニューラルネットワークとカーネル手法に関する既存の理論を補完する。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
  実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。 結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
  論文  参考訳（メタデータ） (2024-10-09T21:37:14Z)
• Formation of Representations in Neural Networks [8.79431718760617]
  現代のニューラルネットワークにおいて、いかに複雑で構造化され、伝達可能な表現が出現するかは謎のままである。 本稿では、表現の形成を普遍的に支配する6つのアライメント関係の集合を仮定したCRH(Canonical Representation hypothesis)を提案する。 CRHの崩壊はR,W,Gの相互関係の出現につながり,この関係をPAH(Polynomial Alignment hypothesis)と呼ぶ。
  論文  参考訳（メタデータ） (2024-10-03T21:31:01Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
  本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。 ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。 我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:31:54Z)
• Learn to integrate parts for whole through correlated neural variability [8.173681663544757]
  感覚知覚は感覚ニューロンの反応に起因し、特定の知覚物体の物理的特性に関連付けられた知覚信号の集まりに反応する。 これらの神経反応から脳がどのように知覚情報を抽出するかを明らかにすることは、計算神経科学と機械学習の両方において重要な課題である。 本稿では,知覚情報を知覚ニューロンの相関変数に符号化し,下流ニューロンの発火速度に変換する統計力学理論を提案する。
  論文  参考訳（メタデータ） (2024-01-01T13:05:29Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。