論文の概要: Dendrites endow artificial neural networks with accurate, robust and parameter-efficient learning

• arxiv url: http://arxiv.org/abs/2404.03708v1
• Date: Thu, 4 Apr 2024 11:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 17:45:28.730959
• Title: Dendrites endow artificial neural networks with accurate, robust and parameter-efficient learning
• Title（参考訳）: 正確で堅牢でパラメータ効率のよい学習でニューラルネットワークを実現するデンドライト
• Authors: Spyridon Chavlis, Panayiota Poirazi,
• Abstract要約: そこで本研究では,新しいANNアーキテクチャが,生物デンドライトの構造的接続性と制限されたサンプリング特性を取り入れていることを示す。 デンドライトANNは, 画像分類タスクにおいて, 従来のANNを過度に適合させ, 性能を向上する上で, より堅牢であることがわかった。 これらの結果から,デンドライトの組み入れにより,ANNにおける学習の精度,弾力性,パラメータ効率が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial neural networks (ANNs) are at the core of most Deep learning (DL) algorithms that successfully tackle complex problems like image recognition, autonomous driving, and natural language processing. However, unlike biological brains who tackle similar problems in a very efficient manner, DL algorithms require a large number of trainable parameters, making them energy-intensive and prone to overfitting. Here, we show that a new ANN architecture that incorporates the structured connectivity and restricted sampling properties of biological dendrites counteracts these limitations. We find that dendritic ANNs are more robust to overfitting and outperform traditional ANNs on several image classification tasks while using significantly fewer trainable parameters. This is achieved through the adoption of a different learning strategy, whereby most of the nodes respond to several classes, unlike classical ANNs that strive for class-specificity. These findings suggest that the incorporation of dendrites can make learning in ANNs precise, resilient, and parameter-efficient and shed new light on how biological features can impact the learning strategies of ANNs.
• Abstract（参考訳）: 人工知能ニューラルネットワーク(ANN)は、画像認識や自律運転、自然言語処理といった複雑な問題にうまく対処する、ほとんどのディープラーニング(DL)アルゴリズムの中核にある。 しかし、非常に効率的な方法で同様の問題に取り組む生物学的脳とは異なり、DLアルゴリズムは多くの訓練可能なパラメータを必要とし、エネルギー集約的で過度に適合する傾向がある。 本稿では, 生物学的デンドライトの構造的接続と制限されたサンプリング特性を組み込んだ新しいANNアーキテクチャが, これらの制約に対処することを示す。 デンドライトANNは、トレーニング可能なパラメータをはるかに少なく使用しながら、複数の画像分類タスクにおいて従来のANNを過度に適合させ、性能を向上するために、より堅牢であることがわかった。 これは、クラス固有性を追求する古典的なANNとは異なり、ほとんどのノードが複数のクラスに応答する、異なる学習戦略を採用することで達成される。 これらの結果は,デンドライトを組み込むことで,ANNにおける学習の精度,弾力性,パラメータ効率が向上し,生物学的特徴がANNの学習戦略にどのような影響を及ぼすか,新たな光がもたらされることを示唆している。

関連論文リスト

• Discovering Long-Term Effects on Parameter Efficient Fine-tuning [36.83255498301937]
  事前訓練されたニューラルネットワーク(Annns)は、堅牢なパターン認識機能を示す。 アンとBNNはヒト脳、特にBNNと大きな類似点を共有している アンは微調整によって新しい知識を得ることができる。
  論文  参考訳（メタデータ） (2024-08-24T03:27:29Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Biologically inspired structure learning with reverse knowledge distillation for spiking neural networks [19.33517163587031]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性から感覚情報認識タスクにおいて非常に優れた特徴を持つ。 現在のスパイクベースのモデルの性能は、完全に接続された構造か深すぎる構造かによって制限されている。 本稿では,より合理的なSNNを構築するための進化的構造構築法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T08:41:17Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Motif-topology and Reward-learning improved Spiking Neural Network for Efficient Multi-sensory Integration [5.161352821775507]
  効率的なマルチ感覚統合のためのMotif-topology and Reward-learning improved Spiking Neural Network (MR-SNN)を提案する。 実験の結果,Motifsを用いない従来のSNNに比べて,MR-SNNの精度が高く,強靭性も高いことがわかった。 提案した報奨学習パラダイムは生物学的に妥当であり,視覚的・聴覚的感覚信号の相違による認知的マガーク効果をよりよく説明することができる。
  論文  参考訳（メタデータ） (2022-02-11T02:07:44Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Evolutionary Architecture Search for Graph Neural Networks [23.691915813153496]
  本稿では,大規模グラフニューラルネットワーク(GNN)アーキテクチャ空間における個々のモデルの進化を通じて,新しいAutoMLフレームワークを提案する。 我々の知る限りでは、GNNモデルの進化的アーキテクチャ探索を導入し、評価する最初の試みである。
  論文  参考訳（メタデータ） (2020-09-21T22:11:53Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。