論文の概要: A Multi-In and Multi-Out Dendritic Neuron Model and its Optimization
- arxiv url: http://arxiv.org/abs/2309.07791v1
- Date: Thu, 14 Sep 2023 15:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-15 12:33:34.894853
- Title: A Multi-In and Multi-Out Dendritic Neuron Model and its Optimization
- Title(参考訳): マルチイン・マルチアウト樹状ニューロンモデルとその最適化
- Authors: Yu Ding, Jun Yu, Chunzhi Gu, Shangce Gao, Chao Zhang
- Abstract要約: マルチ出力タスクに対処する新しいマルチイン・マルチアウト樹状ニューロンモデル(MODN)を提案する。
我々の中核となる考え方は、それぞれの出力を回帰するために所望のデンドライトを適応的に選択するために、ソマ層にフィルタリング行列を導入することである。
このような行列は学習可能なように設計されているため、MODNはそれぞれのデンドライトと出力の関係を探索することができる。
- 参考スコア(独自算出の注目度): 20.308485340250662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial neural networks (ANNs), inspired by the interconnection of real
neurons, have achieved unprecedented success in various fields such as computer
vision and natural language processing. Recently, a novel mathematical ANN
model, known as the dendritic neuron model (DNM), has been proposed to address
nonlinear problems by more accurately reflecting the structure of real neurons.
However, the single-output design limits its capability to handle multi-output
tasks, significantly lowering its applications. In this paper, we propose a
novel multi-in and multi-out dendritic neuron model (MODN) to tackle
multi-output tasks. Our core idea is to introduce a filtering matrix to the
soma layer to adaptively select the desired dendrites to regress each output.
Because such a matrix is designed to be learnable, MODN can explore the
relationship between each dendrite and output to provide a better solution to
downstream tasks. We also model a telodendron layer into MODN to simulate
better the real neuron behavior. Importantly, MODN is a more general and
unified framework that can be naturally specialized as the DNM by customizing
the filtering matrix. To explore the optimization of MODN, we investigate both
heuristic and gradient-based optimizers and introduce a 2-step training method
for MODN. Extensive experimental results performed on 11 datasets on both
binary and multi-class classification tasks demonstrate the effectiveness of
MODN, with respect to accuracy, convergence, and generality.
- Abstract(参考訳): 実ニューロンの相互接続にインスパイアされた人工ニューラルネットワーク(ANN)は、コンピュータビジョンや自然言語処理といった様々な分野で前例のない成功を収めている。
近年,樹状ニューロンモデル(DNM)と呼ばれる新しい数学的ANNモデルが提案され,実際のニューロンの構造をより正確に反映することで非線形問題に対処している。
しかし、シングルアウトプット設計はマルチアウトプットタスクの処理能力を制限し、アプリケーションを大幅に削減した。
本稿では,多出力タスクに対処する新しいマルチイン・マルチアウト樹状ニューロンモデル(MODN)を提案する。
我々の中核となる考え方は、それぞれの出力を回帰するために所望のデンドライトを適応的に選択するために、ソマ層にフィルタリング行列を導入することである。
このような行列は学習可能なように設計されているため、MODNは各デンドライトと出力の関係を調べ、下流タスクに対するより良い解決策を提供することができる。
また、テロデンドロン層をmodnにモデル化し、実際のニューロンの挙動をよりよくシミュレートする。
重要なことは、MODNはより一般的で統一されたフレームワークであり、フィルター行列をカスタマイズすることでDNMとして自然に特殊化することができる。
modnの最適化を検討するために,ヒューリスティックと勾配に基づく最適化について検討し,modnの2段階学習法を提案する。
バイナリクラスとマルチクラスの両方の分類タスクで11のデータセットで行った広範な実験の結果は、正確性、収束性、汎用性に関してmodnの有効性を示している。
関連論文リスト
- Fast gradient-free activation maximization for neurons in spiking neural
networks [6.228340781801083]
このようなループを効果的に設計したフレームワークを,人工スパイクニューラルネットワーク(SNN)でテストし,実験に成功した。
本手法は, アクティベーション関数の領域における離散化の低ランクテンソル分解(テンソルトレイン, TT)に基づいて最適化した。
我々の知る限り、本研究はSNNに効果的なAMを実現するための最初の試みである。
論文 参考訳(メタデータ) (2023-12-28T18:30:13Z) - Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
モデル学習と予測制御を統合した新しいフレームワークを提案する。
我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
論文 参考訳(メタデータ) (2023-12-20T06:25:02Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix
Operations for Efficient Inference [20.53515208166353]
本稿では,Deep Neural Network(DNN)モデル全体の計算を線形行列演算に変換するフレームワークであるNeuralMatrixを提案する。
提案手法は,汎用性とアプリケーション固有の計算効率を両立させながら,ネットワークの精度を保っている。
論文 参考訳(メタデータ) (2023-05-23T12:03:51Z) - Simple and complex spiking neurons: perspectives and analysis in a
simple STDP scenario [0.7829352305480283]
スパイキングニューラルネットワーク(SNN)は、生物学や神経科学にヒントを得て、高速で効率的な学習システムを構築する。
この研究は、文学における様々なニューロンモデルを考察し、単変数で効率的な計算ニューロンモデルを選択し、様々な種類の複雑さを提示する。
我々は, LIF, Quadratic I&F (QIF) および Exponential I&F (EIF) の3つの単純なI&Fニューロンモデルの比較研究を行い, より複雑なモデルの使用によってシステムの性能が向上するかどうかを検証した。
論文 参考訳(メタデータ) (2022-06-28T10:01:51Z) - Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。
提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-10-31T18:35:10Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳(メタデータ) (2020-12-07T01:20:38Z) - Flexible Transmitter Network [84.90891046882213]
現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。
本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。
本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
論文 参考訳(メタデータ) (2020-04-08T06:55:12Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。