論文の概要: Self-building Neural Networks

• arxiv url: http://arxiv.org/abs/2304.01086v1
• Date: Mon, 3 Apr 2023 15:42:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 14:44:49.141871
• Title: Self-building Neural Networks
• Title（参考訳）: 自己構築型ニューラルネットワーク
• Authors: Andrea Ferigo, Giovanni Iacca
• Abstract要約: 本稿では, シナプス形成過程をシミュレートすることを目的とした, 生物学的に妥当なモデルを提案する。 このようにして、タスクの解き方を学習しながら、エージェントはその経験を特定のネットワーク構造に変換する。 提案したSBNNと従来のニューラルネットワーク(NN)をOpenAIの3つの古典的な制御タスクと比較する。
• 参考スコア（独自算出の注目度）: 5.254093731341154
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: During the first part of life, the brain develops while it learns through a process called synaptogenesis. The neurons, growing and interacting with each other, create synapses. However, eventually the brain prunes those synapses. While previous work focused on learning and pruning independently, in this work we propose a biologically plausible model that, thanks to a combination of Hebbian learning and pruning, aims to simulate the synaptogenesis process. In this way, while learning how to solve the task, the agent translates its experience into a particular network structure. Namely, the network structure builds itself during the execution of the task. We call this approach Self-building Neural Network (SBNN). We compare our proposed SBNN with traditional neural networks (NNs) over three classical control tasks from OpenAI. The results show that our model performs generally better than traditional NNs. Moreover, we observe that the performance decay while increasing the pruning rate is smaller in our model than with NNs. Finally, we perform a validation test, testing the models over tasks unseen during the learning phase. In this case, the results show that SBNNs can adapt to new tasks better than the traditional NNs, especially when over $80\%$ of the weights are pruned.
• Abstract（参考訳）: 生命の前半では、シナプト形成と呼ばれる過程を通じて学習しながら脳が発達する。 ニューロンは互いに成長し相互作用し、シナプスを形成する。 しかし、最終的には脳はシナプスを吐き出す。 従来の研究は学習とプルーニングを独立に重視していたが、本研究では、ヘビアン学習とプルーニングの組み合わせにより、シナプト生成過程をシミュレートすることを目的として、生物学的に妥当なモデルを提案する。 このようにして、タスクの解き方を学習しながら、エージェントはその経験を特定のネットワーク構造に変換する。 すなわち、ネットワーク構造はタスクの実行中に自身を構築する。 このアプローチを自己構築ニューラルネットワーク(SBNN)と呼ぶ。 提案したSBNNと従来のニューラルネットワーク(NN)をOpenAIの3つの古典的な制御タスクと比較する。 その結果,我々のモデルは従来のNNよりも性能がよいことがわかった。 また,本モデルでは, NNよりも, 刈り込み速度を増大させながら, 性能劣化が小さいことが観察された。 最後に,検証テストを実施し,学習段階では認識できないタスクでモデルをテストする。 このケースでは、sbnnが従来のnnよりも新しいタスクに適応できることが示されている。

関連論文リスト

• Investigating Sparsity in Recurrent Neural Networks [0.0]
  本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。 まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。 次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
  論文  参考訳（メタデータ） (2024-07-30T07:24:58Z)
• Context Gating in Spiking Neural Networks: Achieving Lifelong Learning through Integration of Local and Global Plasticity [20.589970453110208]
  ヒトは前頭前皮質(PFC)の文脈ゲーティング機構を通じて、最小の相互干渉で連続して複数のタスクを学習する 本研究では,生涯学習のための局所可塑性規則(CG-SNN)によって訓練された文脈ゲーティングを用いたSNNを提案する。 実験により,提案モデルは過去の学習経験を維持する上で有効であり,生涯学習における他の方法よりも優れたタスク選択性を有することが示された。
  論文  参考訳（メタデータ） (2024-06-04T01:35:35Z)
• A survey on learning models of spiking neural membrane systems and spiking neural networks [0.0]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、特定の脳のような特性を持つ、生物学的にインスパイアされたニューラルネットワークのモデルである。 SNNでは、スパイクトレインとスパイクトレインを通してニューロン間の通信が行われる。 SNPSは形式的オートマトン原理に基づくSNNの分岐と見なすことができる。
  論文  参考訳（メタデータ） (2024-03-27T14:26:41Z)
• Curriculum Design Helps Spiking Neural Networks to Classify Time Series [16.402675046686834]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも時系列データをモデル化する可能性が大きい この研究において、脳にインスパイアされた科学によって啓蒙され、構造だけでなく学習過程も人間に似ていなければならないことが判明した。
  論文  参考訳（メタデータ） (2023-12-26T02:04:53Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Models Developed for Spiking Neural Networks [0.5801044612920815]
  スパイキングニューラルネットワーク(SNN)は長い間存在しており、脳のダイナミクスを理解するために研究されてきた。 本研究では,画像分類タスクにおけるSNNの構造と性能について検討した。 比較は、これらのネットワークがより複雑な問題に対して優れた能力を示すことを示している。
  論文  参考訳（メタデータ） (2022-12-08T16:18:53Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。