論文の概要: Exploring Biologically Inspired Mechanisms of Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2405.00679v2
• Date: Wed, 29 Jan 2025 09:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:52:26.751144
• Title: Exploring Biologically Inspired Mechanisms of Adversarial Robustness
• Title（参考訳）: 生物にインスパイアされた対向性ロバスト性機構の探索
• Authors: Konstantin Holzhausen, Mia Merlid, Håkon Olav Torvik, Anders Malthe-Sørenssen, Mikkel Elle Lepperød,
• Abstract要約: 我々は、勝者を持つ教師なしの局所学習モデルが全てのダイナミクスにそのような力の法則表現を学習させることを示す。 本研究の目的は, 神経表現における幾何学的特徴, スペクトル特性, 頑健性, 表現性の間の相互作用を理解することである。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Backpropagation-optimized artificial neural networks, while precise, lack robustness, leading to unforeseen behaviors that affect their safety. Biological neural systems do solve some of these issues already. Unlike artificial models, biological neurons adjust connectivity based on neighboring cell activity. Understanding the biological mechanisms of robustness can pave the way towards building trust worthy and safe systems. Robustness in neural representations is hypothesized to correlate with the smoothness of the encoding manifold. Recent work suggests power law covariance spectra, which were observed studying the primary visual cortex of mice, to be indicative of a balanced trade-off between accuracy and robustness in representations. Here, we show that unsupervised local learning models with winner takes all dynamics learn such power law representations, providing upcoming studies a mechanistic model with that characteristic. Our research aims to understand the interplay between geometry, spectral properties, robustness, and expressivity in neural representations. Hence, we study the link between representation smoothness and spectrum by using weight, Jacobian and spectral regularization while assessing performance and adversarial robustness. Our work serves as a foundation for future research into the mechanisms underlying power law spectra and optimally smooth encodings in both biological and artificial systems. The insights gained may elucidate the mechanisms that realize robust neural networks in mammalian brains and inform the development of more stable and reliable artificial systems.
• Abstract（参考訳）: バックプロパゲーションに最適化された人工ニューラルネットワークは、正確性はあるものの堅牢性に欠けており、その安全性に影響を及ぼす予期せぬ行動を引き起こす。 生体神経系はこれらの問題をすでに解決している。 人工モデルとは異なり、生物学的ニューロンは隣の細胞活動に基づいて接続を調整する。 堅牢性の生物学的メカニズムを理解することは、信頼に値する安全なシステムを構築するための道を開くことができる。 神経表現におけるロバスト性は、符号化多様体の滑らかさと相関すると仮定される。 最近の研究は、マウスの一次視覚野を観察したパワーロー共分散スペクトルが、表現の正確性と堅牢性の間のバランスの取れたトレードオフを示していることを示唆している。 ここでは、勝者を持つ教師なし局所学習モデルが全てのダイナミクスにそのような力の法則表現を学習させることを示し、今後の研究でそのような特性を持つ力学モデルを提供する。 本研究の目的は, 神経表現における幾何学的特徴, スペクトル特性, 頑健性, 表現性の間の相互作用を理解することである。 そこで, 重み, ジャコビアン, スペクトル正則化を用いて, 表現の滑らかさとスペクトルの関連性を検討した。 我々の研究は、生物と人工両方のシステムにおいて、パワーロースペクトルと最適にスムーズなエンコーディングの基礎となるメカニズムの研究の基礎となる。 得られた知見は、哺乳類の脳で堅牢なニューラルネットワークを実現するメカニズムを解明し、より安定で信頼性の高い人工システムの発達を知らせる可能性がある。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
  ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。 NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
  論文  参考訳（メタデータ） (2022-10-11T16:11:48Z)
• On the visual analytic intelligence of neural networks [0.463732827131233]
  合成眼球運動(ササード)から入力を受け取り、新皮質ニューロンのダイナミクスを取り入れたニューロンで処理する生物学的に現実的なシステムを提案する。 生物学的にインスパイアされたネットワークは、より優れた精度を実現し、より速く学習し、従来のネットワークよりも少ないパラメータを必要とすることを示す。
  論文  参考訳（メタデータ） (2022-09-28T11:50:29Z)
• Adversarially trained neural representations may already be as robust as corresponding biological neural representations [66.73634912993006]
  本研究では,霊長類脳活動に直接対人的視覚攻撃を行う方法を開発した。 霊長類の視覚系を構成する生物学的ニューロンは、既存の(不正に訓練された)人工ニューラルネットワークに匹敵する敵の摂動に感受性を示す。
  論文  参考訳（メタデータ） (2022-06-19T04:15:29Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Neural Population Geometry Reveals the Role of Stochasticity in Robust Perception [16.60105791126744]
  本稿では,視覚神経ネットワークの内部表現に逆方向の摂動がどのような影響を及ぼすかを検討する。 ネットワークの種類ごとに異なる幾何学的シグネチャを見つけ,ロバスト表現を実現するための異なるメカニズムを明らかにする。 我々の結果は、堅牢な知覚ネットワークの戦略に光を当て、幾何学性が機械や生物学的計算にどのように役立つかを説明するのに役立ちました。
  論文  参考訳（メタデータ） (2021-11-12T22:59:45Z)
• Optimal input representation in neural systems at the edge of chaos [0.0]
  私たちは、人工知能ニューラルネットワークを構築し、画像を分類するように訓練します。 我々は,ネットワークが臨界点付近で動作している場合に,そのようなタスクで最高の性能が得られることを見出した。 私たちは、ほぼ臨界に近い操作は、通常主張される美徳以外に、柔軟で堅牢で効率的な入力表現を可能にするという利点がある、と結論付けました。
  論文  参考訳（メタデータ） (2021-07-12T19:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。