Fugu-MT 論文翻訳(概要): Neuronal Correlation: a Central Concept in Neural Network

論文の概要: Neuronal Correlation: a Central Concept in Neural Network

arxiv url: http://arxiv.org/abs/2201.09069v1
Date: Sat, 22 Jan 2022 15:01:50 GMT
ステータス: 処理完了
システム内更新日: 2022-01-25 16:14:33.641167
Title: Neuronal Correlation: a Central Concept in Neural Network
Title（参考訳）: 神経相関:ニューラルネットワークにおける中心概念
Authors: Gaojie Jin, Xinping Yi, Xiaowei Huang
Abstract要約: 神経相関は, 重み行列を用いて効率的に推定できることが示唆された。神経相関は高次元隠れ空間におけるエントロピー推定の精度に大きく影響している。
参考スコア（独自算出の注目度）: 22.764342635264452
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper proposes to study neural networks through neuronal correlation, a statistical measure of correlated neuronal activity on the penultimate layer. We show that neuronal correlation can be efficiently estimated via weight matrix, can be effectively enforced through layer structure, and is a strong indicator of generalisation ability of the network. More importantly, we show that neuronal correlation significantly impacts on the accuracy of entropy estimation in high-dimensional hidden spaces. While previous estimation methods may be subject to significant inaccuracy due to implicit assumption on neuronal independence, we present a novel computational method to have an efficient and authentic computation of entropy, by taking into consideration the neuronal correlation. In doing so, we install neuronal correlation as a central concept of neural network.
Abstract（参考訳）: 本稿では,ニューラルネットワークをニューラルネットワークの相関関係の統計的尺度である神経相関を用いて研究することを提案する。神経相関は, 重み行列を用いて効率的に推定でき, 層構造を通して効果的に実施でき, ネットワークの一般化能力の強い指標であることを示す。さらに,高次元隠れ空間におけるエントロピー推定の精度にニューロン相関が大きな影響を与えていることを示す。従来の推定手法は,神経細胞の独立性に対する暗黙の仮定により,重大な不正確性にさらされる可能性があるが,神経相関を考慮し,エントロピーの効率的かつ真正な計算を行う新しい計算手法を提案する。そこで我々は,ニューラルネットワークの中枢概念としてニューラル相関を導入する。

関連論文リスト

Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
論文参考訳（メタデータ） (2024-10-17T17:47:54Z)
Statistical tuning of artificial neural network [0.0]
本研究では、ニューラルネットワークの理解を強化する方法を紹介し、特に1つの隠蔽層を持つモデルに焦点を当てる。本稿では,入力ニューロンの意義を統計的に評価し,次元減少のためのアルゴリズムを提案する。この研究は、ニューラルネットワークを解釈するための堅牢な統計フレームワークを提示することにより、説明可能な人工知能の分野を前進させる。
論文参考訳（メタデータ） (2024-09-24T19:47:03Z)
Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文参考訳（メタデータ） (2023-08-09T11:09:14Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文参考訳（メタデータ） (2022-12-08T15:16:04Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文参考訳（メタデータ） (2022-04-05T17:13:36Z)
And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文参考訳（メタデータ） (2021-02-15T08:19:05Z)
Geometry Perspective Of Estimating Learning Capability Of Neural Networks [0.0]
本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。一般化能力とニューラルネットワークの安定性との関係についても論じている。ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
論文参考訳（メタデータ） (2020-11-03T12:03:19Z)
Online neural connectivity estimation with ensemble stimulation [5.156484100374058]
スパースネットワークにおけるこのプロセスの効率を大幅に向上させる,ノイズの多いグループテストに基づく手法を提案する。人口規模に比例して対数的にしか成長しない多数のテストにより、二項化ネットワーク接続を回復可能であることを示す。また、ネット上の数万のニューロンのネットワークに対して、接続性を推測する可能性も示しています。
論文参考訳（メタデータ） (2020-07-27T23:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。