論文の概要: Dendritic Integration Based Quadratic Neural Networks Outperform Traditional Aritificial Ones

• arxiv url: http://arxiv.org/abs/2307.13609v1
• Date: Thu, 25 May 2023 13:06:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 16:33:52.839421
• Title: Dendritic Integration Based Quadratic Neural Networks Outperform Traditional Aritificial Ones
• Title（参考訳）: 樹状統合に基づく二次ニューラルネットワークは従来の有意ニューラルネットワークより優れている
• Authors: Chongming Liu, Songting Li and Douglas Zhou
• Abstract要約: 最近の知見から,デンドライトはシナプス入力の2次積分規則に従うことが示唆された。 DIQNN(Ddendritic Integration-based Quadratic Neural Network)と呼ばれる新しいANNモデルを提案する。 このモデルは、様々な分類タスクにおいて、従来のANNよりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incorporating biological neuronal properties into Artificial Neural Networks (ANNs) to enhance computational capabilities poses a formidable challenge in the field of machine learning. Inspired by recent findings indicating that dendrites adhere to quadratic integration rules for synaptic inputs, we propose a novel ANN model, Dendritic Integration-Based Quadratic Neural Network (DIQNN). This model shows superior performance over traditional ANNs in a variety of classification tasks. To reduce the computational cost of DIQNN, we introduce the Low-Rank DIQNN, while we find it can retain the performance of the original DIQNN. We further propose a margin to characterize the generalization error and theoretically prove this margin will increase monotonically during training. And we show the consistency between generalization and our margin using numerical experiments. Finally, by integrating this margin into the loss function, the change of test accuracy is indeed accelerated. Our work contributes a novel, brain-inspired ANN model that surpasses traditional ANNs and provides a theoretical framework to analyze the generalization error in classification tasks.
• Abstract（参考訳）: ANN(Artificial Neural Networks)に生物学的神経特性を組み込んで計算能力を高めることは、機械学習分野における大きな課題である。 近年,デンドライトがシナプス入力の2次積分規則に準拠していることが示唆され,新しいANNモデルであるDindritic Integration-Based Quadratic Neural Network (DIQNN)を提案する。 このモデルは、様々な分類タスクにおいて、従来のANNよりも優れた性能を示す。 DIQNN の計算コストを削減するため,従来の DIQNN の性能を維持しつつ,低ランク DIQNN を導入している。 さらに,一般化誤差を特徴付けるマージンを提案し,そのマージンが単調に増加することを理論的に証明する。 また,数値実験を用いて一般化とマージンの整合性を示す。 最後に、このマージンを損失関数に統合することで、テスト精度の変化が実際に加速される。 我々の研究は、従来のANNを超え、分類タスクにおける一般化エラーを解析するための理論的枠組みを提供する、脳に触発された新しいANNモデルに貢献している。

関連論文リスト

• Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network [10.760652747217668]
  スパイキングニューラルネットワーク(SNN)は、神経科学のメカニズムをシミュレートするために、多分野の領域で研究されている。 離散理論の欠如は、その性能と非線形性のサポートを制限することによって、SNNの実用化を妨げている。 我々は、スパイキングニューロンの離散力学の新しい最適化理論的視点を示す。
  論文  参考訳（メタデータ） (2024-07-01T02:09:20Z)
• Advancing Spiking Neural Networks towards Multiscale Spatiotemporal Interaction Learning [10.702093960098106]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)のエネルギー効率の良い代替品として機能する 我々は、マルチスケールの時間的相互作用情報をキャプチャするスパイキング・マルチスケール・アテンション(SMA)モジュールを設計した。 われわれのアプローチは、主流のニューラルネットワークで最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-05-22T14:16:05Z)
• Pursing the Sparse Limitation of Spiking Deep Learning Structures [42.334835610250714]
  スパイキングニューラルネットワーク(SNN)はその優れた計算とエネルギー効率のために注目を集めている。 重量とパッチレベルの当選チケットを同時に識別できる革新的なアルゴリズムを提案する。 我々は, モデル構造が極めて疎い場合でも, スパイキング抽選券が同等あるいは優れた性能を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-18T17:00:40Z)
• Artificial to Spiking Neural Networks Conversion for Scientific Machine Learning [24.799635365988905]
  物理インフォームドニューラルネットワーク(PINN)をスパイキングニューラルネットワーク(SNN)に変換する手法を提案する。 SNNは従来のニューラルネットワーク(ANN)と比較してエネルギー効率が高いと期待されている
  論文  参考訳（メタデータ） (2023-08-31T00:21:27Z)
• Spiking Network Initialisation and Firing Rate Collapse [3.7057859167913456]
  スパイクニューラルネットワーク(SNN)の優れた初期化を構成するものは不明である。 ANNの重量初期化問題は、SNNのスパイク・アンド・リセット非直線性のため、ANNの重量初期化の問題よりも、ANNの重量初期化の問題であることが示される。 我々は,ANNの分散伝播技術と異なる手法を組み合わせたSNN初期化手法を考案し,期待される発火速度と膜電位分布を求める。
  論文  参考訳（メタデータ） (2023-05-13T10:11:00Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。