論文の概要: Weakly-correlated synapses promote dimension reduction in deep neural networks

• arxiv url: http://arxiv.org/abs/2006.11569v1
• Date: Sat, 20 Jun 2020 13:11:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 22:36:24.735607
• Title: Weakly-correlated synapses promote dimension reduction in deep neural networks
• Title（参考訳）: 弱相関シナプスはディープニューラルネットワークの次元減少を促進する
• Authors: Jianwen Zhou, and Haiping Huang
• Abstract要約: シナプス相関が神経相関にどのように影響し、絡み合った隠された表現を生み出すかは、いまだ解明されていない。 本稿では,シナプス間の相互相関を考慮した次元縮小モデルを提案する。 我々の理論は、数学的自己整合性のみを必要とするシナプス相関スケーリング形式を決定する。
• 参考スコア（独自算出の注目度）: 1.7532045941271799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By controlling synaptic and neural correlations, deep learning has achieved empirical successes in improving classification performances. How synaptic correlations affect neural correlations to produce disentangled hidden representations remains elusive. Here we propose a simplified model of dimension reduction, taking into account pairwise correlations among synapses, to reveal the mechanism underlying how the synaptic correlations affect dimension reduction. Our theory determines the synaptic-correlation scaling form requiring only mathematical self-consistency, for both binary and continuous synapses. The theory also predicts that weakly-correlated synapses encourage dimension reduction compared to their orthogonal counterparts. In addition, these synapses slow down the decorrelation process along the network depth. These two computational roles are explained by the proposed mean-field equation. The theoretical predictions are in excellent agreement with numerical simulations, and the key features are also captured by a deep learning with Hebbian rules.
• Abstract（参考訳）: シナプスと神経の相関を制御することによって、ディープラーニングは分類性能の向上に実証的な成功を収めた。 シナプス相関が神経相関にどのように影響するかは、いまだ不明である。 本稿では, シナプス間の相互相関を考慮した次元減少の簡易モデルを提案し, シナプス相関が次元減少に与える影響のメカニズムを明らかにする。 本理論は,二元および連続的なシナプスに対して,数学的自己矛盾のみを必要とするシナプス相関スケーリング形式を決定する。 この理論はまた、弱相関シナプスは直交のシナプスに比べて次元の減少を促進すると予測している。 さらに、これらのシナプスはネットワーク深度に沿ったデコレーションプロセスを遅くする。 これら2つの計算的役割は平均場方程式によって説明される。 理論的予測は数値シミュレーションとよく一致しており、鍵となる特徴はヘビアン規則の深い学習によっても捉えられる。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Connecting Concept Convexity and Human-Machine Alignment in Deep Neural Networks [3.001674556825579]
  ニューラルネットワークと人間の認知プロセスの整合性を理解することは、より解釈可能で信頼性の高いAIシステムを開発するための重要なステップである。 認知タスクにおける人間との類似関係を反映した2つの次元の相関関係を同定する。 これは、人間と機械のアライメント間の関係の凸性を理解するための第一歩である。
  論文  参考訳（メタデータ） (2024-09-10T09:32:16Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• A simple connection from loss flatness to compressed representations in neural networks [3.5502600490147196]
  ディープニューラルネットワークにおける学習の最終段階において、ニューラルネットワークの多様体の圧縮は、SGDが探索したミニマのまわりの損失の平坦さと相関することを示す。 我々の研究はMaとYingによる線形安定性の洞察に基づいており、様々な圧縮測定値と鋭さを含む量の不等式を導出する。
  論文  参考訳（メタデータ） (2023-10-03T03:36:29Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
  二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。 我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。 本分析に基づき,損失関数が二重降下に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-03-14T17:39:49Z)
• Neuronal Correlation: a Central Concept in Neural Network [22.764342635264452]
  神経相関は, 重み行列を用いて効率的に推定できることが示唆された。 神経相関は高次元隠れ空間におけるエントロピー推定の精度に大きく影響している。
  論文  参考訳（メタデータ） (2022-01-22T15:01:50Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• The distribution of inhibitory neurons in the C. elegans connectome facilitates self-optimization of coordinated neural activity [78.15296214629433]
  線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。 一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。 我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
  論文  参考訳（メタデータ） (2020-10-28T23:11:37Z)
• Optimal Learning with Excitatory and Inhibitory synapses [91.3755431537592]
  相関関係の存在下でアナログ信号間の関連性を保持するという課題について検討する。 ランダムな入力および出力プロセスのパワースペクトルの観点から、典型的な学習性能を特徴付ける。
  論文  参考訳（メタデータ） (2020-05-25T18:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。