論文の概要: Why do networks have inhibitory/negative connections?

• arxiv url: http://arxiv.org/abs/2208.03211v8
• Date: Thu, 17 Aug 2023 20:27:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 20:02:29.010498
• Title: Why do networks have inhibitory/negative connections?
• Title（参考訳）: なぜネットワークは阻害・負のつながりを持つのか?
• Authors: Qingyang Wang, Michael A. Powell, Ali Geisa, Eric Bridgeford, Carey E. Priebe, Joshua T. Vogelstein
• Abstract要約: 関数を表現することは、(i)自然知能における脳と(ii)人工知能における深層ネットワークの両方の主要な役割である。 負の重みがない場合、非減少活性化関数を持つニューラルネットワークは普遍的な近似器ではないことを証明した。 非負のディープネットワークでは表現できない表現空間の幾何学的性質に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 17.0225720126444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Why do brains have inhibitory connections? Why do deep networks have negative weights? We propose an answer from the perspective of representation capacity. We believe representing functions is the primary role of both (i) the brain in natural intelligence, and (ii) deep networks in artificial intelligence. Our answer to why there are inhibitory/negative weights is: to learn more functions. We prove that, in the absence of negative weights, neural networks with non-decreasing activation functions are not universal approximators. While this may be an intuitive result to some, to the best of our knowledge, there is no formal theory, in either machine learning or neuroscience, that demonstrates why negative weights are crucial in the context of representation capacity. Further, we provide insights on the geometric properties of the representation space that non-negative deep networks cannot represent. We expect these insights will yield a deeper understanding of more sophisticated inductive priors imposed on the distribution of weights that lead to more efficient biological and machine learning.
• Abstract（参考訳）: なぜ脳は抑制的なつながりを持つのか? なぜディープネットワークは負の重みを持つのか? 我々は,表現能力の観点からの回答を提案する。 機能を表現することが 両方の主要な役割であると信じています i) 自然知能の脳 そして (ii)人工知能の深層ネットワーク。 抑制的/負の重みがある理由に対する我々の答えは、 より多くの機能を学ぶこと。 負の重みがない場合、非減少活性化関数を持つニューラルネットワークは普遍近似器ではないことを証明した。 これは直感的な結果かもしれないが、私たちの知る限りでは、機械学習でも神経科学でも、なぜ負の重みが表現能力の文脈で重要なのかを示す公式な理論は存在しない。 さらに、非負のディープネットワークでは表現できない表現空間の幾何学的性質に関する洞察を与える。 これらの洞察は、より効率的な生物学的および機械学習につながる重量の分布に課されるより洗練された誘導的先入観をより深く理解することを期待しています。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• The Role Of Biology In Deep Learning [0.0]
  この研究は、その歴史の一部を要約し、現代の理論神経科学をディープラーニングの分野から人工ニューラルネットワークの実験に取り入れている。 特に、反復等級プルーニングは、性能を損なうことなく、33倍の重量で疎結合ネットワークを訓練するために用いられる。 これらは、重量空間だけで画像ノイズの堅牢性を改善するという仮説をテストし、最終的に否定するために使用される。
  論文  参考訳（メタデータ） (2022-09-07T23:22:57Z)
• Meet You Halfway: Explaining Deep Learning Mysteries [0.0]
  本稿では,ネットワークの振舞いに光を当てることを目的とした,形式的な記述を伴う新しい概念的枠組みを提案する。 なぜニューラルネットワークは一般化能力を獲得するのか? 我々は、この新しいフレームワークと基礎となる理論をサポートする包括的な実験セットを提供する。
  論文  参考訳（メタデータ） (2022-06-09T12:43:10Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Abstraction, Reasoning and Deep Learning: A Study of the "Look and Say" Sequence [0.0]
  ディープニューラルネットワークは、大規模なデータセットでトレーニングされた場合、高い能力(精度で測定される)を示すことができる。 パズルデータ「Look and Say」の2つのセット実験について報告する。 トレーニングデータとテストデータの両方で)驚くべき精度にもかかわらず、実際のL&Sシーケンス上でのトレーニングプログラムのパフォーマンスは悪いです。
  論文  参考訳（メタデータ） (2021-09-27T01:41:37Z)
• The mathematics of adversarial attacks in AI -- Why deep learning is unstable despite the existence of stable neural networks [69.33657875725747]
  固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。 鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。 我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
  論文  参考訳（メタデータ） (2021-09-13T16:19:25Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Towards Human-Understandable Visual Explanations:Imperceptible High-frequency Cues Can Better Be Removed [46.36600006968488]
  HVS(Human Visual System)と精神物理学に制約された人間の能力を考慮する必要があると我々は主張する。 実顔画像と偽顔画像の分類に関するケーススタディを行い、標準的なニューラルネットワークによって選択された特徴の多くは、人間には認識できないことが判明した。
  論文  参考訳（メタデータ） (2021-04-16T08:11:30Z)
• A new role for circuit expansion for learning in neural networks [1.14179290793997]
  ニューラルネットワークの拡張は,学習期間終了後に拡張された構造が切断された場合でも,その一般化性能を向上させることができることを示す。 拡張された学生ネットワークの一般化誤差は,ネットワークの規模が大きくなるにつれて減少し続けることを示す。
  論文  参考訳（メタデータ） (2020-08-19T20:00:44Z)
• The Representation Theory of Neural Networks [7.724617675868718]
  ニューラルネットワークは、量子表現の数学的理論によって表現できることを示す。 ネットワーククイバーが共通のニューラルネットワークの概念に優しく適応していることを示します。 また、ニューラルネットワークがデータから表現を生成する方法を理解するためのクイバー表現モデルも提供します。
  論文  参考訳（メタデータ） (2020-07-23T19:02:14Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。