論文の概要: Assessing Intelligence in Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2006.02909v1
- Date: Wed, 3 Jun 2020 16:45:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 17:09:00.630773
- Title: Assessing Intelligence in Artificial Neural Networks
- Title(参考訳): ニューラルネットワークにおけるインテリジェンスの評価
- Authors: Nicholas J. Schaub, Nathan Hotaling
- Abstract要約: この研究の目的は、ニューラルネットワークのサイズとタスクパフォーマンスのバランスをとるネットワークアーキテクチャを評価するメトリクスを開発することである。
神経層利用を測定するために、神経効率の概念が導入されている。
ニューラルネットワークの性能とニューラルネットワーク効率のバランスをとるために、人工知能商(aIQ)と呼ばれる第2の指標が作られた。
- 参考スコア(独自算出の注目度): 2.55633960013493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The purpose of this work was to develop of metrics to assess network
architectures that balance neural network size and task performance. To this
end, the concept of neural efficiency is introduced to measure neural layer
utilization, and a second metric called artificial intelligence quotient (aIQ)
was created to balance neural network performance and neural network
efficiency. To study aIQ and neural efficiency, two simple neural networks were
trained on MNIST: a fully connected network (LeNet-300-100) and a convolutional
neural network (LeNet-5). The LeNet-5 network with the highest aIQ was 2.32%
less accurate but contained 30,912 times fewer parameters than the highest
accuracy network. Both batch normalization and dropout layers were found to
increase neural efficiency. Finally, high aIQ networks are shown to be
memorization and overtraining resistant, capable of learning proper digit
classification with an accuracy of 92.51% even when 75% of the class labels are
randomized. These results demonstrate the utility of aIQ and neural efficiency
as metrics for balancing network performance and size.
- Abstract(参考訳): この研究の目的は、ニューラルネットワークのサイズとタスクパフォーマンスのバランスをとるネットワークアーキテクチャを評価するメトリクスを開発することである。
この目的のために、ニューラルネットワークの効率性の概念を導入し、ニューラルネットワークの性能とニューラルネットワークの効率のバランスをとるために、aiq(artificial intelligence quotient)と呼ばれる第2の指標が作成された。
aiqとニューラルネットワークの効率性を調べるため、mnistは完全連結ネットワーク(lenet-300-100)と畳み込みニューラルネットワーク(lenet-5)の2つの単純なニューラルネットワークを訓練した。
aiqが最も高いlenet-5ネットワークは、精度が2.32%低いが、最も精度の高いネットワークよりもパラメータが30,912倍少ない。
バッチ正規化とドロップアウト層の両方で神経効率が向上した。
最後に、高いaIQネットワークは記憶とオーバートレーニング耐性を示し、クラスラベルの75%がランダム化されても92.51%の精度で適切な桁分類を学習することができる。
これらの結果は、ネットワーク性能とサイズをバランスさせる指標として、aIQとニューラル効率が有効であることを示す。
関連論文リスト
- Convolutional Neural Networks Exploiting Attributes of Biological
Neurons [7.3517426088986815]
畳み込みニューラルネットワーク(CNN)のようなディープニューラルネットワークは、最前線として登場し、しばしば人間の能力を上回っている。
ここでは,生物ニューロンの原理をCNNの特定の層に統合する。
我々は,CNNの入力として使用する画像の特徴を抽出し,訓練効率の向上と精度の向上を期待する。
論文 参考訳(メタデータ) (2023-11-14T16:58:18Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳(メタデータ) (2022-01-30T04:52:31Z) - Deep Reinforcement Learning with Spiking Q-learning [56.13654667729119]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳(メタデータ) (2022-01-21T16:42:11Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳(メタデータ) (2022-01-11T20:53:15Z) - The mathematics of adversarial attacks in AI -- Why deep learning is
unstable despite the existence of stable neural networks [69.33657875725747]
固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。
鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。
我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
論文 参考訳(メタデータ) (2021-09-13T16:19:25Z) - Dive into Layers: Neural Network Capacity Bounding using Algebraic
Geometry [55.57953219617467]
ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。
入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。
実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
論文 参考訳(メタデータ) (2021-09-03T11:45:51Z) - Growing Artificial Neural Networks [0.9475982252982436]
プルーニングは、低SWaPハードウェアに適合するニューラルネットワークのサイズを減らすための正当な方法である。
本稿では,ネットワークを起伏させるのではなく,成長する人工神経新生(ANG)アルゴリズムを提案する。
ANGはトレーニングデータを使用して、実際のトレーニングが行われる前に、レイヤ間の重要な接続を決定する。
論文 参考訳(メタデータ) (2020-06-11T17:25:51Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳(メタデータ) (2020-05-24T01:04:53Z) - Neural Networks and Value at Risk [59.85784504799224]
リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。
株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。
はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
論文 参考訳(メタデータ) (2020-05-04T17:41:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。