論文の概要: Representations learnt by SGD and Adaptive learning rules: Conditions that vary sparsity and selectivity in neural networks
- arxiv url: http://arxiv.org/abs/2201.11653v3
- Date: Wed, 02 Oct 2024 23:32:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 23:30:54.313815
- Title: Representations learnt by SGD and Adaptive learning rules: Conditions that vary sparsity and selectivity in neural networks
- Title（参考訳）: SGDと適応学習規則で学習した表現:ニューラルネットワークの空間性と選択性が異なる条件
- Authors: Jin Hyun Park,
- Abstract要約: 相互干渉を減らす効果的な方法は、神経細胞の空間性と選択性に見られる。
本稿では,ニューラルネットワークの空間性や選択性を自然に向上させる諸条件について検討する。
- 参考スコア（独自算出の注目度）: 0.32634122554914
- License:
- Abstract: From the point of view of the human brain, continual learning can perform various tasks without mutual interference. An effective way to reduce mutual interference can be found in sparsity and selectivity of neurons. According to Aljundi et al. and Hadsell et al., imposing sparsity at the representational level is advantageous for continual learning because sparse neuronal activations encourage less overlap between parameters, resulting in less interference. Similarly, highly selective neural networks are likely to induce less interference since particular response in neurons will reduce the chance of overlap with other parameters. Considering that the human brain performs continual learning over the lifespan, finding conditions where sparsity and selectivity naturally arises may provide insight for understanding how the brain functions. This paper investigates various conditions that naturally increase sparsity and selectivity in a neural network. This paper tested different optimizers with Hoyer's sparsity metric and CCMAS selectivity metric in MNIST classification task. It is essential to note that investigations on the natural occurrence of sparsity and selectivity concerning various conditions have not been acknowledged in any sector of neuroscience nor machine learning until this day. This paper found that particular conditions increase sparsity and selectivity such as applying a large learning rate and lowering a batch size. In addition to the relationship between the condition, sparsity, and selectivity, the following will be discussed based on empirical analysis: 1. The relationship between sparsity and selectivity and 2. The relationship between test accuracy, sparsity, and selectivity.
- Abstract（参考訳）: 人間の脳の観点からは、連続学習は相互干渉なしに様々なタスクを遂行することができる。
相互干渉を減らす効果的な方法は、神経細胞の空間性と選択性に見られる。
Aljundi et al と Hadsell et al によれば、表現レベルでの間隔を付与することは連続的な学習に有利である。
同様に、高選択性ニューラルネットワークは、ニューロン内の特定の応答が他のパラメータと重複する確率を減少させるため、干渉を減少させる可能性がある。
人間の脳が生涯にわたって連続的な学習を行うことを考えると、空間性や選択性が自然に生じる条件を見つけることは、脳がどのように機能するかを理解する洞察を与える可能性がある。
本稿では,ニューラルネットワークの空間性や選択性を自然に向上させる諸条件について検討する。
本稿では,MNIST分類タスクにおいて,Hoyerの疎度測定値とCCMAS選択度測定値を用いて異なるオプティマイザを試験した。
神経科学や機械学習のあらゆる分野において、様々な条件に関する空間性や選択性の自然発生に関する調査は、今日まで認められていないことに留意する必要がある。
本研究は,学習率の増大やバッチサイズ低下など,特定の条件が空間性や選択性を高めることを発見した。
条件,疎度,選択性の関係に加えて,実証分析に基づいて以下のことを議論する。
一 空間と選択性及び選択性の関係
2. 検査精度, 疎度, 選択性の関係
関連論文リスト
- Stimulus-to-Stimulus Learning in RNNs with Cortical Inductive Biases [0.0]
大脳皮質に広まる2種類の誘導バイアスを用いた刺激置換の繰り返しニューラルネットワークモデルを提案する。
本研究では,モデルが幅広い条件づけ現象を発生させ,学習量と多数の関連性を学習可能であることを示す。
我々の枠組みは、大脳皮質におけるマルチコンパートメントニューロン処理の重要性を強調し、大脳皮質動物を進化の端とみなす方法を示している。
論文 参考訳（メタデータ） (2024-09-20T13:01:29Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical
Development Patterns of Preterm Infants [73.85768093666582]
我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。
NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
論文 参考訳（メタデータ） (2023-01-01T12:48:12Z) - A Neural Network Based Automated IFT-20 Sensory Neuron Classifier for
Caenorhabditis elegans [0.0]
組織間比較は、機能ネットワークの全脳分析を含む幅広い研究を可能にする。
線虫 Caenorhabditis elegans における単細胞分解能のパンニューロンイメージングの最近の進歩は、すべての到達範囲におけるニューロンの同定、追跡、活動監視をもたらした。
高い精度で神経細胞を同定する主な障壁は、成人のC. elegansでは神経細胞の体の位置がステレオタイプ化されていないことである。
単色蛍光画像のみを用いた別の神経細胞識別手法を提案する。
論文 参考訳（メタデータ） (2022-10-24T00:17:26Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - The distribution of inhibitory neurons in the C. elegans connectome
facilitates self-optimization of coordinated neural activity [78.15296214629433]
線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。
一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。
我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
論文 参考訳（メタデータ） (2020-10-28T23:11:37Z) - On the relationship between class selectivity, dimensionality, and
robustness [25.48362370177062]
クラス選択性は入力データの摂動に頑健性(または脆弱性)を与えるかを検討する。
クラス選択率の平均は、自然主義的な腐敗に対する脆弱性を予測する。
その結果、クラス選択性は、複数の種類の勾配に基づく敵攻撃に対して堅牢性を高めることが判明した。
論文 参考訳（メタデータ） (2020-07-08T21:24:45Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。