論文の概要: Computational and Storage Efficient Quadratic Neurons for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2306.07294v2
• Date: Mon, 27 Nov 2023 10:21:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 15:45:20.166482
• Title: Computational and Storage Efficient Quadratic Neurons for Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークのための計算・記憶効率2次ニューロン
• Authors: Chuangtao Chen and Grace Li Zhang and Xunzhao Yin and Cheng Zhuo and Ulf Schlichtmann and Bing Li
• Abstract要約: 実験により、提案した二次ニューロン構造は、様々なタスクにおいて優れた計算効率と記憶効率を示すことが示された。 本研究は、2次計算情報の高度活用によって区別される2次ニューロンアーキテクチャを導入する。
• 参考スコア（独自算出の注目度）: 10.379191500493503
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks (DNNs) have been widely deployed across diverse domains such as computer vision and natural language processing. However, the impressive accomplishments of DNNs have been realized alongside extensive computational demands, thereby impeding their applicability on resource-constrained devices. To address this challenge, many researchers have been focusing on basic neuron structures, the fundamental building blocks of neural networks, to alleviate the computational and storage cost. In this work, an efficient quadratic neuron architecture distinguished by its enhanced utilization of second-order computational information is introduced. By virtue of their better expressivity, DNNs employing the proposed quadratic neurons can attain similar accuracy with fewer neurons and computational cost. Experimental results have demonstrated that the proposed quadratic neuron structure exhibits superior computational and storage efficiency across various tasks when compared with both linear and non-linear neurons in prior work.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、さまざまな領域に広くデプロイされている。 しかし、DNNの目覚ましい成果は、膨大な計算要求とともに実現されており、リソース制約のあるデバイスへの適用性を阻害している。 この課題に対処するために、多くの研究者が、計算と記憶のコストを軽減するために、ニューラルネットワークの基本的な構成要素である基本的なニューロン構造に注目してきた。 本研究では,2次計算情報の高度活用によって区別される2次ニューロンアーキテクチャを提案する。 より優れた表現性により、提案した二次ニューロンを用いたDNNは、少ないニューロンと計算コストで同様の精度が得られる。 実験により, 提案した二次ニューロン構造は, 以前の線形ニューロンと非線形ニューロンと比較して, 様々なタスクにおいて優れた計算効率と記憶効率を示すことが示された。

関連論文リスト

• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• To Spike or Not To Spike: A Digital Hardware Perspective on Deep Learning Acceleration [4.712922151067433]
  ディープラーニングモデルがスケールするにつれて、コンピュータビジョンから自然言語処理まで、ドメイン間の競争が激化する。 生物学的脳のパワー効率は、大規模深層学習(DL)モデルよりも優れている。 ニューロモルフィックコンピューティングは、DLモデルの効率を改善するために、脳の操作を模倣しようとする。
  論文  参考訳（メタデータ） (2023-06-27T19:04:00Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Exploiting Noise as a Resource for Computation and Learning in Spiking Neural Networks [32.0086664373154]
  本研究では,雑音型スパイクニューラルネットワーク(NSNN)とノイズ駆動学習規則(NDL)を紹介する。 NSNNは、スケーラブルでフレキシブルで信頼性の高い計算をもたらす理論的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-05-25T13:21:26Z)
• Efficient, probabilistic analysis of combinatorial neural codes [0.0]
  ニューラルネットワークは、個々のニューロンの活動の組み合わせの形で入力を符号化する。 これらのニューラルネットワークは、その高次元性としばしば大量のデータのため、計算上の課題を示す。 従来の手法を小さな例に適用し,実験によって生成された大きなニューラルコードに適用する。
  論文  参考訳（メタデータ） (2022-10-19T11:58:26Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。