論文の概要: A Multi-In and Multi-Out Dendritic Neuron Model and its Optimization
- arxiv url: http://arxiv.org/abs/2309.07791v1
- Date: Thu, 14 Sep 2023 15:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 12:33:34.894853
- Title: A Multi-In and Multi-Out Dendritic Neuron Model and its Optimization
- Title（参考訳）: マルチイン・マルチアウト樹状ニューロンモデルとその最適化
- Authors: Yu Ding, Jun Yu, Chunzhi Gu, Shangce Gao, Chao Zhang
- Abstract要約: マルチ出力タスクに対処する新しいマルチイン・マルチアウト樹状ニューロンモデル(MODN)を提案する。
我々の中核となる考え方は、それぞれの出力を回帰するために所望のデンドライトを適応的に選択するために、ソマ層にフィルタリング行列を導入することである。
このような行列は学習可能なように設計されているため、MODNはそれぞれのデンドライトと出力の関係を探索することができる。
- 参考スコア（独自算出の注目度）: 20.308485340250662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial neural networks (ANNs), inspired by the interconnection of real
neurons, have achieved unprecedented success in various fields such as computer
vision and natural language processing. Recently, a novel mathematical ANN
model, known as the dendritic neuron model (DNM), has been proposed to address
nonlinear problems by more accurately reflecting the structure of real neurons.
However, the single-output design limits its capability to handle multi-output
tasks, significantly lowering its applications. In this paper, we propose a
novel multi-in and multi-out dendritic neuron model (MODN) to tackle
multi-output tasks. Our core idea is to introduce a filtering matrix to the
soma layer to adaptively select the desired dendrites to regress each output.
Because such a matrix is designed to be learnable, MODN can explore the
relationship between each dendrite and output to provide a better solution to
downstream tasks. We also model a telodendron layer into MODN to simulate
better the real neuron behavior. Importantly, MODN is a more general and
unified framework that can be naturally specialized as the DNM by customizing
the filtering matrix. To explore the optimization of MODN, we investigate both
heuristic and gradient-based optimizers and introduce a 2-step training method
for MODN. Extensive experimental results performed on 11 datasets on both
binary and multi-class classification tasks demonstrate the effectiveness of
MODN, with respect to accuracy, convergence, and generality.
- Abstract（参考訳）: 実ニューロンの相互接続にインスパイアされた人工ニューラルネットワーク(ANN)は、コンピュータビジョンや自然言語処理といった様々な分野で前例のない成功を収めている。
近年,樹状ニューロンモデル(DNM)と呼ばれる新しい数学的ANNモデルが提案され,実際のニューロンの構造をより正確に反映することで非線形問題に対処している。
しかし、シングルアウトプット設計はマルチアウトプットタスクの処理能力を制限し、アプリケーションを大幅に削減した。
本稿では,多出力タスクに対処する新しいマルチイン・マルチアウト樹状ニューロンモデル(MODN)を提案する。
我々の中核となる考え方は、それぞれの出力を回帰するために所望のデンドライトを適応的に選択するために、ソマ層にフィルタリング行列を導入することである。
このような行列は学習可能なように設計されているため、MODNは各デンドライトと出力の関係を調べ、下流タスクに対するより良い解決策を提供することができる。
また、テロデンドロン層をmodnにモデル化し、実際のニューロンの挙動をよりよくシミュレートする。
重要なことは、MODNはより一般的で統一されたフレームワークであり、フィルター行列をカスタマイズすることでDNMとして自然に特殊化することができる。
modnの最適化を検討するために,ヒューリスティックと勾配に基づく最適化について検討し,modnの2段階学習法を提案する。
バイナリクラスとマルチクラスの両方の分類タスクで11のデータセットで行った広範な実験の結果は、正確性、収束性、汎用性に関してmodnの有効性を示している。
関連論文リスト
- Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
モデル学習と予測制御を統合した新しいフレームワークを提案する。
我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
論文 参考訳（メタデータ） (2023-12-20T06:25:02Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix Operations for Efficient Inference [20.404864470321897]
本稿では,ディープニューラルネットワーク(DNN)モデル全体の計算を線形行列演算に弾性的に変換するニューラルマトリックスを提案する。
CNNとトランスフォーマーベースのモデルによる実験は、広範囲のDNNモデルを正確かつ効率的に実行するためのNeuralMatrixの可能性を実証している。
このレベルの効率性は通常、特定のニューラルネットワーク用に設計されたアクセラレータでのみ達成できる。
論文 参考訳（メタデータ） (2023-05-23T12:03:51Z) - Simple and complex spiking neurons: perspectives and analysis in a
simple STDP scenario [0.7829352305480283]
スパイキングニューラルネットワーク(SNN)は、生物学や神経科学にヒントを得て、高速で効率的な学習システムを構築する。
この研究は、文学における様々なニューロンモデルを考察し、単変数で効率的な計算ニューロンモデルを選択し、様々な種類の複雑さを提示する。
我々は, LIF, Quadratic I&F (QIF) および Exponential I&F (EIF) の3つの単純なI&Fニューロンモデルの比較研究を行い, より複雑なモデルの使用によってシステムの性能が向上するかどうかを検証した。
論文 参考訳（メタデータ） (2022-06-28T10:01:51Z) - DEMAND: Deep Matrix Approximately NonlinearDecomposition to Identify
Meta, Canonical, and Sub-Spatial Pattern of functional Magnetic Resonance
Imaging in the Human Brain [8.93274096260726]
本研究では,SDL(Sparse Dictionary Learning)やDNN(Deep Neural Networks)といった浅い線形モデルを活用するために,Deep A roughly Decomposition(DEMAND)という新しい非線形行列分解法を提案する。
DEMANDは、人間の脳の再現可能な代謝、正準的、および部分空間的特徴を、他の仲間の方法論よりも効率的に明らかにすることができる。
論文 参考訳（メタデータ） (2022-05-20T15:55:01Z) - Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。
提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-10-31T18:35:10Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Flexible Transmitter Network [84.90891046882213]
現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。
本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。
本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
論文 参考訳（メタデータ） (2020-04-08T06:55:12Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。