Fugu-MT 論文翻訳(概要): Parameter efficient dendritic-tree neurons outperform perceptrons

論文の概要: Parameter efficient dendritic-tree neurons outperform perceptrons

arxiv url: http://arxiv.org/abs/2207.00708v1
Date: Sat, 2 Jul 2022 01:22:39 GMT
ステータス: 処理完了
システム内更新日: 2022-07-09 11:49:29.408770
Title: Parameter efficient dendritic-tree neurons outperform perceptrons
Title（参考訳）: パラメーター効率の良い樹状樹状ニューロンはパーセプトロンを上回る
Authors: Ziwen Han, Evgeniya Gorobets, Pan Chen
Abstract要約: 入力の分岐要素の追加と調整と、入力のドロップアウトの影響について検討する。既存のアーキテクチャにおける多層パーセプトロン層を置き換えるためのPyTorchモジュールを提案する。
参考スコア（独自算出の注目度）: 1.4502611532302039
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Biological neurons are more powerful than artificial perceptrons, in part due to complex dendritic input computations. Inspired to empower the perceptron with biologically inspired features, we explore the effect of adding and tuning input branching factors along with input dropout. This allows for parameter efficient non-linear input architectures to be discovered and benchmarked. Furthermore, we present a PyTorch module to replace multi-layer perceptron layers in existing architectures. Our initial experiments on MNIST classification demonstrate the accuracy and generalization improvement of dendritic neurons compared to existing perceptron architectures.
Abstract（参考訳）: 生物学的ニューロンは、複雑な樹状体入力計算のために、人工パーセプトロンよりも強力である。生物学的にインスパイアされた機能を備えたパーセプトロンの強化にインスパイアされた我々は、入力分岐因子の追加とチューニングと入力ドロップアウトの効果を探求する。これによりパラメータ効率の良い非線形入力アーキテクチャを発見し、ベンチマークすることができる。さらに,既存のアーキテクチャにおける多層パーセプトロン層を置き換えるPyTorchモジュールを提案する。 MNIST分類の初期実験は、既存のパーセプトロンアーキテクチャと比較して樹状ニューロンの精度と一般化の改善を示す。

関連論文リスト

Exploring Structural Nonlinearity in Binary Polariton-Based Neuromorphic Architectures [0.0]
ネットワークのレイアウトから導かれる構造的非線形性は,複雑な計算作業を円滑に行う上で重要な役割を担っていることを示す。この個々のニューロン特性からネットワークアーキテクチャへのシフトは、ニューロモルフィックコンピューティングの効率性と適用性に大きな進歩をもたらす可能性がある。
論文参考訳（メタデータ） (2024-11-09T09:29:46Z)
Discovering Long-Term Effects on Parameter Efficient Fine-tuning [36.83255498301937]
事前訓練されたニューラルネットワーク(Annns)は、堅牢なパターン認識機能を示す。アンとBNNはヒト脳、特にBNNと大きな類似点を共有しているアンは微調整によって新しい知識を得ることができる。
論文参考訳（メタデータ） (2024-08-24T03:27:29Z)
Learning with Chemical versus Electrical Synapses -- Does it Make a Difference? [61.85704286298537]
バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
論文参考訳（メタデータ） (2023-11-21T13:07:20Z)
WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
論文参考訳（メタデータ） (2023-10-25T20:34:08Z)
SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文参考訳（メタデータ） (2023-10-25T13:15:17Z)
The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文参考訳（メタデータ） (2023-06-14T13:34:13Z)
Impact of spiking neurons leakages and network recurrences on event-based spatio-temporal pattern recognition [0.0]
ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
論文参考訳（メタデータ） (2022-11-14T21:34:02Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文参考訳（メタデータ） (2022-01-19T09:26:34Z)
Fast, Smart Neuromorphic Sensors Based on Heterogeneous Networks and Mixed Encodings [0.0]
ニューロモルフィックアーキテクチャは、変化する環境に反応し、学習し、対応できるスマートセンサーの実装に理想的に適しています。我々の研究は、昆虫の脳をモデルとして、異なる種類のニューロンやエンコーディングを組み込んだ異質なアーキテクチャをどのように利用して、入力処理、評価、応答を統合するシステムを構築することができるのかを理解する。
論文参考訳（メタデータ） (2021-04-09T00:26:37Z)
Structural plasticity on an accelerated analog neuromorphic hardware system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文参考訳（メタデータ） (2019-12-27T10:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。