論文の概要: Weakly-correlated synapses promote dimension reduction in deep neural
networks
- arxiv url: http://arxiv.org/abs/2006.11569v1
- Date: Sat, 20 Jun 2020 13:11:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 22:36:24.735607
- Title: Weakly-correlated synapses promote dimension reduction in deep neural
networks
- Title(参考訳): 弱相関シナプスはディープニューラルネットワークの次元減少を促進する
- Authors: Jianwen Zhou, and Haiping Huang
- Abstract要約: シナプス相関が神経相関にどのように影響し、絡み合った隠された表現を生み出すかは、いまだ解明されていない。
本稿では,シナプス間の相互相関を考慮した次元縮小モデルを提案する。
我々の理論は、数学的自己整合性のみを必要とするシナプス相関スケーリング形式を決定する。
- 参考スコア(独自算出の注目度): 1.7532045941271799
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: By controlling synaptic and neural correlations, deep learning has achieved
empirical successes in improving classification performances. How synaptic
correlations affect neural correlations to produce disentangled hidden
representations remains elusive. Here we propose a simplified model of
dimension reduction, taking into account pairwise correlations among synapses,
to reveal the mechanism underlying how the synaptic correlations affect
dimension reduction. Our theory determines the synaptic-correlation scaling
form requiring only mathematical self-consistency, for both binary and
continuous synapses. The theory also predicts that weakly-correlated synapses
encourage dimension reduction compared to their orthogonal counterparts. In
addition, these synapses slow down the decorrelation process along the network
depth. These two computational roles are explained by the proposed mean-field
equation. The theoretical predictions are in excellent agreement with numerical
simulations, and the key features are also captured by a deep learning with
Hebbian rules.
- Abstract(参考訳): シナプスと神経の相関を制御することによって、ディープラーニングは分類性能の向上に実証的な成功を収めた。
シナプス相関が神経相関にどのように影響するかは、いまだ不明である。
本稿では, シナプス間の相互相関を考慮した次元減少の簡易モデルを提案し, シナプス相関が次元減少に与える影響のメカニズムを明らかにする。
本理論は,二元および連続的なシナプスに対して,数学的自己矛盾のみを必要とするシナプス相関スケーリング形式を決定する。
この理論はまた、弱相関シナプスは直交のシナプスに比べて次元の減少を促進すると予測している。
さらに、これらのシナプスはネットワーク深度に沿ったデコレーションプロセスを遅くする。
これら2つの計算的役割は平均場方程式によって説明される。
理論的予測は数値シミュレーションとよく一致しており、鍵となる特徴はヘビアン規則の深い学習によっても捉えられる。
関連論文リスト
- Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳(メタデータ) (2023-08-09T11:09:14Z) - Linear Classification of Neural Manifolds with Correlated Variability [3.3946853660795893]
対象表現間の相関関係がキャパシティ,すなわち線形分離可能性にどのように影響するかを示す。
次に、この結果を用いて、ディープネットワークデータのキャパシティを正確に推定する。
論文 参考訳(メタデータ) (2022-11-27T23:01:43Z) - Brain Cortical Functional Gradients Predict Cortical Folding Patterns
via Attention Mesh Convolution [51.333918985340425]
我々は,脳の皮質ジャイロ-サルカル分割図を予測するための新しいアテンションメッシュ畳み込みモデルを開発した。
実験の結果,我々のモデルによる予測性能は,他の最先端モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-05-21T14:08:53Z) - Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。
我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
論文 参考訳(メタデータ) (2022-04-05T12:52:45Z) - Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。
我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。
本分析に基づき,損失関数が二重降下に与える影響について検討した。
論文 参考訳(メタデータ) (2022-03-14T17:39:49Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Neuronal Correlation: a Central Concept in Neural Network [22.764342635264452]
神経相関は, 重み行列を用いて効率的に推定できることが示唆された。
神経相関は高次元隠れ空間におけるエントロピー推定の精度に大きく影響している。
論文 参考訳(メタデータ) (2022-01-22T15:01:50Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳(メタデータ) (2021-08-25T22:01:01Z) - The distribution of inhibitory neurons in the C. elegans connectome
facilitates self-optimization of coordinated neural activity [78.15296214629433]
線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。
一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。
我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
論文 参考訳(メタデータ) (2020-10-28T23:11:37Z) - Optimal Learning with Excitatory and Inhibitory synapses [91.3755431537592]
相関関係の存在下でアナログ信号間の関連性を保持するという課題について検討する。
ランダムな入力および出力プロセスのパワースペクトルの観点から、典型的な学習性能を特徴付ける。
論文 参考訳(メタデータ) (2020-05-25T18:25:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。