論文の概要: Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks
- arxiv url: http://arxiv.org/abs/2109.09612v1
- Date: Mon, 20 Sep 2021 15:12:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 21:11:21.357273
- Title: Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks
- Title(参考訳): 動的ニューラルネットワークの多様化: 計算可能なニューラルネットワークへの道
- Authors: Alexander Kovalenko, Pavel Kord\'ik, Magda Friedjungov\'a
- Abstract要約: 訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
- 参考スコア(独自算出の注目度): 68.8204255655161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Small neural networks with a constrained number of trainable parameters, can
be suitable resource-efficient candidates for many simple tasks, where now
excessively large models are used. However, such models face several problems
during the learning process, mainly due to the redundancy of the individual
neurons, which results in sub-optimal accuracy or the need for additional
training steps. Here, we explore the diversity of the neurons within the hidden
layer during the learning process, and analyze how the diversity of the neurons
affects predictions of the model. As following, we introduce several techniques
to dynamically reinforce diversity between neurons during the training. These
decorrelation techniques improve learning at early stages and occasionally help
to overcome local minima faster. Additionally, we describe novel weight
initialization method to obtain decorrelated, yet stochastic weight
initialization for a fast and efficient neural network training. Decorrelated
weight initialization in our case shows about 40% relative increase in test
accuracy during the first 5 epochs.
- Abstract(参考訳): 訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率のよい候補となり得る。
しかし、これらのモデルは学習過程においていくつかの問題に直面しており、主に個々のニューロンの冗長性により、最適以下の精度や追加のトレーニングステップの必要性が生じる。
ここでは学習過程における隠れた層内のニューロンの多様性を調べ,モデルの予測にニューロンの多様性がどのように影響するかを分析する。
訓練中,ニューロン間の多様性を動的に強化する手法をいくつか紹介する。
これらのデコレーション技術は早期の学習を改善し、時には局所的なミニマを早く克服するのに役立つ。
さらに,新しい重み初期化法を用いて,高速かつ効率的なニューラルネットワークトレーニングのためのデコリニアだが確率的重み初期化について述べる。
本症例の体重初期化は,第5期における検査精度の約40%向上を示した。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳(メタデータ) (2024-02-21T15:51:01Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳(メタデータ) (2023-10-31T20:17:32Z) - A Unified, Scalable Framework for Neural Population Decoding [12.052847252465826]
神経活動の集団動態をモデル化するためのトレーニングフレームワークとアーキテクチャを導入する。
我々は,ヒト以外の霊長類7種の大規模データセットに基づいて訓練された大規模マルチセッションモデルを構築した。
論文 参考訳(メタデータ) (2023-10-24T17:58:26Z) - NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。
ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。
我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
論文 参考訳(メタデータ) (2023-10-08T12:33:42Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Training Integrable Parameterizations of Deep Neural Networks in the
Infinite-Width Limit [0.0]
大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。
2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。
この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
論文 参考訳(メタデータ) (2021-10-29T07:53:35Z) - Bubblewrap: Online tiling and real-time flow prediction on neural
manifolds [2.624902795082451]
本稿では, 高速で安定な次元減少と, 結果のニューラル多様体のソフトタイリングを結合する手法を提案する。
得られたモデルはキロヘルツのデータレートでトレーニングでき、数分で神経力学の正確な近似を生成し、ミリ秒以下の時間スケールで予測を生成する。
論文 参考訳(メタデータ) (2021-08-31T16:01:45Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳(メタデータ) (2021-02-20T23:26:58Z) - Factorized Neural Processes for Neural Processes: $K$-Shot Prediction of
Neural Responses [9.792408261365043]
我々は,小さな刺激応答対からニューロンのチューニング関数を推定するファクトリズ・ニューラル・プロセスを開発した。
本稿では,ニューラルプロセスからの予測および再構成された受容場が,試行数の増加とともに真理に近づいたことをシミュレートした応答を示す。
この新しいディープラーニングシステム識別フレームワークは、ニューラルネットワークモデリングを神経科学実験にリアルタイムに組み込むのに役立つと信じている。
論文 参考訳(メタデータ) (2020-10-22T15:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。