論文の概要: Exploring mechanisms of Neural Robustness: probing the bridge between geometry and spectrum
- arxiv url: http://arxiv.org/abs/2405.00679v1
- Date: Mon, 5 Feb 2024 12:06:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 11:19:45.920729
- Title: Exploring mechanisms of Neural Robustness: probing the bridge between geometry and spectrum
- Title（参考訳）: ニューラルロバストネスの探索メカニズム-幾何とスペクトルの間の橋渡しを探る
- Authors: Konstantin Holzhausen, Mia Merlid, Håkon Olav Torvik, Anders Malthe-Sørenssen, Mikkel Elle Lepperød,
- Abstract要約: 本研究では, 重み, ジャコビアン, スペクトル正規化による表現の滑らかさとスペクトルの関係について検討した。
本研究の目的は, 神経表現における幾何学的特徴, スペクトル特性, 頑健性, 表現性の間の相互作用を理解することである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Backpropagation-optimized artificial neural networks, while precise, lack robustness, leading to unforeseen behaviors that affect their safety. Biological neural systems do solve some of these issues already. Thus, understanding the biological mechanisms of robustness is an important step towards building trustworthy and safe systems. Unlike artificial models, biological neurons adjust connectivity based on neighboring cell activity. Robustness in neural representations is hypothesized to correlate with the smoothness of the encoding manifold. Recent work suggests power law covariance spectra, which were observed studying the primary visual cortex of mice, to be indicative of a balanced trade-off between accuracy and robustness in representations. Here, we show that unsupervised local learning models with winner takes all dynamics learn such power law representations, providing upcoming studies a mechanistic model with that characteristic. Our research aims to understand the interplay between geometry, spectral properties, robustness, and expressivity in neural representations. Hence, we study the link between representation smoothness and spectrum by using weight, Jacobian and spectral regularization while assessing performance and adversarial robustness. Our work serves as a foundation for future research into the mechanisms underlying power law spectra and optimally smooth encodings in both biological and artificial systems. The insights gained may elucidate the mechanisms that realize robust neural networks in mammalian brains and inform the development of more stable and reliable artificial systems.
- Abstract（参考訳）: バックプロパゲーションに最適化された人工ニューラルネットワークは、正確性はあるものの堅牢性に欠けており、その安全性に影響を及ぼす予期せぬ行動を引き起こす。
生体神経系はこれらの問題をすでに解決している。
したがって、堅牢性の生物学的メカニズムを理解することは、信頼できる安全なシステムを構築するための重要なステップである。
人工モデルとは異なり、生物学的ニューロンは隣の細胞活動に基づいて接続を調整する。
神経表現におけるロバスト性は、符号化多様体の滑らかさと相関すると仮定される。
最近の研究は、マウスの一次視覚野を観察したパワーロー共分散スペクトルが、表現の正確性と堅牢性の間のバランスの取れたトレードオフを示していることを示唆している。
ここでは、勝者を持つ教師なし局所学習モデルが全てのダイナミクスにそのような力の法則表現を学習させることを示し、今後の研究でそのような特性を持つ力学モデルを提供する。
本研究の目的は, 神経表現における幾何学的特徴, スペクトル特性, 頑健性, 表現性の間の相互作用を理解することである。
そこで, 重み, ジャコビアン, スペクトル正則化を用いて, 表現の滑らかさとスペクトルの関連性を検討した。
我々の研究は、生物と人工両方のシステムにおいて、パワーロースペクトルと最適にスムーズなエンコーディングの基礎となるメカニズムの研究の基礎となる。
得られた知見は、哺乳類の脳で堅牢なニューラルネットワークを実現するメカニズムを解明し、より安定で信頼性の高い人工システムの発達を知らせる可能性がある。
関連論文リスト
- Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳（メタデータ） (2024-04-22T09:40:07Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Learning with Chemical versus Electrical Synapses -- Does it Make a
Difference? [61.85704286298537]
バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。
我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
論文 参考訳（メタデータ） (2023-11-21T13:07:20Z) - What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。
NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
論文 参考訳（メタデータ） (2022-10-11T16:11:48Z) - On the visual analytic intelligence of neural networks [0.463732827131233]
合成眼球運動(ササード)から入力を受け取り、新皮質ニューロンのダイナミクスを取り入れたニューロンで処理する生物学的に現実的なシステムを提案する。
生物学的にインスパイアされたネットワークは、より優れた精度を実現し、より速く学習し、従来のネットワークよりも少ないパラメータを必要とすることを示す。
論文 参考訳（メタデータ） (2022-09-28T11:50:29Z) - Adversarially trained neural representations may already be as robust as
corresponding biological neural representations [66.73634912993006]
本研究では,霊長類脳活動に直接対人的視覚攻撃を行う方法を開発した。
霊長類の視覚系を構成する生物学的ニューロンは、既存の(不正に訓練された)人工ニューラルネットワークに匹敵する敵の摂動に感受性を示す。
論文 参考訳（メタデータ） (2022-06-19T04:15:29Z) - Interpretability of Neural Network With Physiological Mechanisms [5.1971653175509145]
ディープラーニングは、レグレッションと分類タスクの様々な領域で異常な精度を達成した強力な最先端技術として、引き続き機能している。
ニューラルネットワークモデルを最初に提案する目的は、数学的表現アプローチを使用して複雑な人間の脳を理解することを改善することである。
近年のディープラーニング技術は、ブラックボックス近似器として扱われることによって、機能的プロセスの解釈を失う傾向にある。
論文 参考訳（メタデータ） (2022-03-24T21:40:04Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Neural Population Geometry Reveals the Role of Stochasticity in Robust
Perception [16.60105791126744]
本稿では,視覚神経ネットワークの内部表現に逆方向の摂動がどのような影響を及ぼすかを検討する。
ネットワークの種類ごとに異なる幾何学的シグネチャを見つけ,ロバスト表現を実現するための異なるメカニズムを明らかにする。
我々の結果は、堅牢な知覚ネットワークの戦略に光を当て、幾何学性が機械や生物学的計算にどのように役立つかを説明するのに役立ちました。
論文 参考訳（メタデータ） (2021-11-12T22:59:45Z) - Optimal input representation in neural systems at the edge of chaos [0.0]
私たちは、人工知能ニューラルネットワークを構築し、画像を分類するように訓練します。
我々は,ネットワークが臨界点付近で動作している場合に,そのようなタスクで最高の性能が得られることを見出した。
私たちは、ほぼ臨界に近い操作は、通常主張される美徳以外に、柔軟で堅牢で効率的な入力表現を可能にするという利点がある、と結論付けました。
論文 参考訳（メタデータ） (2021-07-12T19:55:03Z) - Parsimonious neural networks learn interpretable physical laws [77.34726150561087]
本稿では、ニューラルネットワークと進化的最適化を組み合わせたパシモニクスニューラルネットワーク(PNN)を提案し、精度とパシモニクスのバランスをとるモデルを求める。
アプローチのパワーと汎用性は、古典力学のモデルを開発し、基本特性から材料の融解温度を予測することによって実証される。
論文 参考訳（メタデータ） (2020-05-08T16:15:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。