Fugu-MT 論文翻訳(概要): SpinalNet: Deep Neural Network with Gradual Input

論文の概要: SpinalNet: Deep Neural Network with Gradual Input

arxiv url: http://arxiv.org/abs/2007.03347v3
Date: Fri, 7 Jan 2022 05:48:48 GMT
ステータス: 処理完了
システム内更新日: 2022-11-12 18:12:57.469220
Title: SpinalNet: Deep Neural Network with Gradual Input
Title（参考訳）: SpinalNet: グラジアル入力を備えたディープニューラルネットワーク
Authors: H M Dipu Kabir, Moloud Abdar, Seyed Mohammad Jafar Jalali, Abbas Khosravi, Amir F Atiya, Saeid Nahavandi, Dipti Srinivasan
Abstract要約: 本研究では,人間の体感システムについて検討し,より少ない計算で高精度なニューラルネットワーク(SpinalNet)を設計する。提案したSpinalNetでは、各レイヤは、1)入力分割、2)中間分割、3)出力分割の3つの分割に分割される。 SpinalNetは、DNNの完全な接続層や分類層としても使用することができ、従来の学習と転送学習の両方をサポートする。
参考スコア（独自算出の注目度）: 12.71050888779988
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Deep neural networks (DNNs) have achieved the state of the art performance in numerous fields. However, DNNs need high computation times, and people always expect better performance in a lower computation. Therefore, we study the human somatosensory system and design a neural network (SpinalNet) to achieve higher accuracy with fewer computations. Hidden layers in traditional NNs receive inputs in the previous layer, apply activation function, and then transfer the outcomes to the next layer. In the proposed SpinalNet, each layer is split into three splits: 1) input split, 2) intermediate split, and 3) output split. Input split of each layer receives a part of the inputs. The intermediate split of each layer receives outputs of the intermediate split of the previous layer and outputs of the input split of the current layer. The number of incoming weights becomes significantly lower than traditional DNNs. The SpinalNet can also be used as the fully connected or classification layer of DNN and supports both traditional learning and transfer learning. We observe significant error reductions with lower computational costs in most of the DNNs. Traditional learning on the VGG-5 network with SpinalNet classification layers provided the state-of-the-art (SOTA) performance on QMNIST, Kuzushiji-MNIST, EMNIST (Letters, Digits, and Balanced) datasets. Traditional learning with ImageNet pre-trained initial weights and SpinalNet classification layers provided the SOTA performance on STL-10, Fruits 360, Bird225, and Caltech-101 datasets. The scripts of the proposed SpinalNet are available at the following link: https://github.com/dipuk0506/SpinalNet
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は多くの分野におけるアートパフォーマンスの状態を達成している。しかし、DNNは高い計算時間を必要とし、人々は常に低い計算でより良いパフォーマンスを期待する。そこで,人間の体感システムについて検討し,より少ない計算で高精度なニューラルネットワーク(SpinalNet)を設計する。従来のnnの隠れたレイヤは、前のレイヤで入力を受け取り、アクティベーション関数を適用し、その結果を次のレイヤに転送する。提案されたスピネルネットでは、各層は3つの分割に分けられる。 1) 入力分割。 2)中間分割,及び 3)出力分割。各レイヤの入力分割は、入力の一部を受信する。各層の中間分割は、前の層の中間分割の出力と、現在の層の入力分割の出力を受信する。入ってくる重量は従来のDNNよりも大幅に減少する。 spinalnetはdnnの完全接続層や分類層としても使用でき、従来の学習と転送学習の両方をサポートする。我々は,dnnのほとんどにおいて,計算コストの低減による大きな誤差低減を観測する。 SpinalNet分類レイヤによるVGG-5ネットワーク上の従来の学習は、QMNIST、Kuzushiji-MNIST、EMNIST(Letters, Digits, Balanced)データセットの最先端(SOTA)パフォーマンスを提供する。 ImageNetの事前トレーニングされた初期重みとSpinalNetの分類レイヤによる従来の学習は、STL-10、Fruits 360、Bird225、Caltech-101データセットでのSOTAのパフォーマンスを提供した。提案されているSpinalNetのスクリプトは以下のリンクで入手できる。

関連論文リスト

NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance [0.0]
我々は、トレーニングなしで最適なニューラルネットワークを特定するために、アクティベーションランク(NEAR)によるゼロコストプロキシネットワーク表現を提案する。このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
論文参考訳（メタデータ） (2024-08-16T14:38:14Z)
Investigating Sparsity in Recurrent Neural Networks [0.0]
本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
論文参考訳（メタデータ） (2024-07-30T07:24:58Z)
Diffused Redundancy in Pre-trained Representations [98.55546694886819]
事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。与えられた層における学習された表現は拡散冗長性を示す。我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
論文参考訳（メタデータ） (2023-05-31T21:00:50Z)
I-SPLIT: Deep Network Interpretability for Split Computing [11.652957867167098]
この研究は、分割コンピューティングの分野、すなわち、ディープニューラルネットワークを分割して、その初期部分を組み込みデバイスに、残りをサーバーにホストする方法において、大きな一歩を踏み出している。我々は、レイヤーのアーキテクチャが重要であるだけでなく、それに含まれるニューロンの重要性も示している。
論文参考訳（メタデータ） (2022-09-23T14:26:56Z)
SAR Image Classification Based on Spiking Neural Network through Spike-Time Dependent Plasticity and Gradient Descent [7.106664778883502]
スパイキングニューラルネットワーク(SNN)は、脳のような知能のコアコンポーネントの1つである。本稿では、教師なしおよび教師なし学習SNNに基づいて、完全なSAR画像を構築する。
論文参考訳（メタデータ） (2021-06-15T09:36:04Z)
Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
論文参考訳（メタデータ） (2021-02-09T08:19:49Z)
Pooling Methods in Deep Neural Networks, a Review [6.1678491628787455]
プーリングレイヤは、前のレイヤから来るフィーチャーマップのダウンサンプリングを実行する重要なレイヤである。本稿では,有名な,有用なプーリング手法について概説する。
論文参考訳（メタデータ） (2020-09-16T06:11:40Z)
Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文参考訳（メタデータ） (2020-08-21T19:03:23Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文参考訳（メタデータ） (2020-06-24T02:44:54Z)
Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。