論文の概要: Improving Deep Neural Network Random Initialization Through Neuronal Rewiring

• arxiv url: http://arxiv.org/abs/2207.08148v1
• Date: Sun, 17 Jul 2022 11:52:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 14:09:24.103787
• Title: Improving Deep Neural Network Random Initialization Through Neuronal Rewiring
• Title（参考訳）: 神経リワイリングによるディープニューラルネットワークのランダム初期化の改善
• Authors: Leonardo Scabini, Bernard De Baets, and Odemir M. Bruno
• Abstract要約: 神経強度のばらつきは低下するが, 神経強度のばらつきは低下し, 神経強度のばらつきは改善する。 次に、その強度に基づいて、優先アタッチメント(PA)ルールに従って神経細胞接続をリワイヤする新しい方法を提案する。 この意味では、PAは重みの大きさと分布を保ちながら、接続を再編成するのみである。
• 参考スコア（独自算出の注目度）: 14.484787903053208
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The deep learning literature is continuously updated with new architectures and training techniques. However, weight initialization is overlooked by most recent research, despite some intriguing findings regarding random weights. On the other hand, recent works have been approaching Network Science to understand the structure and dynamics of Artificial Neural Networks (ANNs) after training. Therefore, in this work, we analyze the centrality of neurons in randomly initialized networks. We show that a higher neuronal strength variance may decrease performance, while a lower neuronal strength variance usually improves it. A new method is then proposed to rewire neuronal connections according to a preferential attachment (PA) rule based on their strength, which significantly reduces the strength variance of layers initialized by common methods. In this sense, PA rewiring only reorganizes connections, while preserving the magnitude and distribution of the weights. We show through an extensive statistical analysis in image classification that performance is improved in most cases, both during training and testing, when using both simple and complex architectures and learning schedules. Our results show that, aside from the magnitude, the organization of the weights is also relevant for better initialization of deep ANNs.
• Abstract（参考訳）: ディープラーニングの文献は、新しいアーキテクチャとトレーニングテクニックで継続的に更新される。 しかし、最近の研究では、ランダムウェイトに関する興味深い発見があるにもかかわらず、体重初期化は見過ごされている。 一方で、トレーニング後のニューラルネットワーク(anns)の構造とダイナミクスを理解するために、ネットワークサイエンスに近づいた最近の研究もある。 そこで本研究では,ランダム初期化ネットワークにおけるニューロンの集中度を解析する。 高いニューロン強度のばらつきはパフォーマンスを低下させるが、低いニューロンの強度のばらつきは通常それを改善する。 次に,その強度に基づく優先アタッチメント(pa)規則に従ってニューロン接続を再配線する新しい方法を提案し,共通手法によって初期化される層の強度分散を著しく低減した。 この意味で、paは、重みの大きさと分布を保ちながら、接続を再編成するだけである。 画像分類の広範な統計分析を通じて,単純で複雑なアーキテクチャと学習スケジュールの両方を使用する場合,トレーニングとテストの両方において,ほとんどのケースでパフォーマンスが向上することを示した。 以上の結果から,重みの組織化は,ANNの深部初期化に有効であることが示唆された。

関連論文リスト

• How connectivity structure shapes rich and lazy learning in neural circuits [14.236853424595333]
  本稿では,初期重みの構造,特にその有効ランクがネットワーク学習体制に与える影響について検討する。 本研究は,学習体制形成における初期重み構造の役割を明らかにするものである。
  論文  参考訳（メタデータ） (2023-10-12T17:08:45Z)
• Self-Expanding Neural Networks [24.812671965904727]
  ニューラルネットワークの幅と深さの両方を直感的に拡張する自然な勾配に基づくアプローチを導入する。 我々は、ニューロンが加算されるレート'の上限を証明し、拡張スコアに計算的に安価で低いバウンドを証明した。 分類問題と回帰問題の両方において、完全な接続性と畳み込みを備えた自己拡張ニューラルネットワークの利点について説明する。
  論文  参考訳（メタデータ） (2023-07-10T12:49:59Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。 本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。 我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
  論文  参考訳（メタデータ） (2022-11-10T08:32:13Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Deep Convolutional Neural Networks with Unitary Weights [0.0]
  統一畳み込みニューラルネットワークは、競合予測精度を維持しつつ、推論速度を最大32%高速化する。 正方形シナプス重みに制限された先行技術とは異なり、ユニタリネットワークを任意の大きさと次元の重みに拡張する。
  論文  参考訳（メタデータ） (2021-02-23T18:36:13Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation [57.46377517266827]
  本研究はN-ASTL(Network-Aware Adaptive Structure Transfer Learning)を導入する。 N-ASTLは、ソースネットワークのトポロジと重み分布に関する統計情報を利用して、新しい入力ニューロンと出力ニューロンが既存の構造にどのように統合されるかを伝える。 結果は、これまで不可能だった現実世界のデータセットを転送する機能など、従来の最先端よりも改善されていることを示している。
  論文  参考訳（メタデータ） (2020-06-04T06:07:30Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。