Fugu-MT 論文翻訳(概要): On the biological plausibility of orthogonal initialisation for solving gradient instability in deep neural networks

論文の概要: On the biological plausibility of orthogonal initialisation for solving gradient instability in deep neural networks

arxiv url: http://arxiv.org/abs/2211.08408v1
Date: Thu, 27 Oct 2022 06:08:06 GMT
ステータス: 処理完了
システム内更新日: 2022-11-20 14:08:57.260281
Title: On the biological plausibility of orthogonal initialisation for solving gradient instability in deep neural networks
Title（参考訳）: 深層ニューラルネットワークにおける勾配不安定性解消のための直交初期化の生物学的可能性について
Authors: Nikolay Manchev and Michael Spratling
Abstract要約: 本稿では,ネットワークが自然に重みを進化させることができる2つの初期化手法を提案する。提案手法がランダムに初期化されたリカレントおよびフィードフォワードネットワークより優れていることを実証的に確認する。
参考スコア（独自算出の注目度）: 2.1320960069210484
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Initialising the synaptic weights of artificial neural networks (ANNs) with orthogonal matrices is known to alleviate vanishing and exploding gradient problems. A major objection against such initialisation schemes is that they are deemed biologically implausible as they mandate factorization techniques that are difficult to attribute to a neurobiological process. This paper presents two initialisation schemes that allow a network to naturally evolve its weights to form orthogonal matrices, provides theoretical analysis that pre-training orthogonalisation always converges, and empirically confirms that the proposed schemes outperform randomly initialised recurrent and feedforward networks.
Abstract（参考訳）: 直交行列を持つニューラルネットワーク(anns)のシナプス重みの初期化は、消失と爆発の勾配問題を緩和することが知られている。このような初期化スキームに対する大きな反対は、それらは神経生物学的過程に起因し難い因子化技法を委任するので生物学的に不可能であると考えられていることである。本稿では,ネットワークが自発的に重みを進化させて直交行列を形成するための2つの初期化スキームを提案し,事前学習された直交化が常に収束する理論解析を行い,提案手法がランダムに初期化されたリカレントおよびフィードフォワードネットワークを上回ることを実証的に確認する。

関連論文リスト

Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
論文参考訳（メタデータ） (2023-11-24T18:46:54Z)
Stabilizing RNN Gradients through Pre-training [3.335932527835653]
学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。本稿では,この問題を緩和するための新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-08-23T11:48:35Z)
Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry [43.584567991256925]
本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
論文参考訳（メタデータ） (2023-06-07T22:14:33Z)
Phase Diagram of Initial Condensation for Two-layer Neural Networks [4.404198015660192]
2層ニューラルネットワークの初期凝縮の位相図を示す。私たちのフェーズダイアグラムは、ニューラルネットワークの動的構造を包括的に理解するのに役立ちます。
論文参考訳（メタデータ） (2023-03-12T03:55:38Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文参考訳（メタデータ） (2022-09-19T18:48:00Z)
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks [18.377136391055327]
本稿では,階層的テンソル分解における暗黙の正規化を理論的に解析する。これは、関連する畳み込みネットワークの局所性に対する暗黙の正規化に変換される。我々の研究は、暗黙の正規化の理論解析を通じてニューラルネットワークを強化する可能性を強調している。
論文参考訳（メタデータ） (2022-01-27T18:48:30Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。