論文の概要: Advancing the Biological Plausibility and Efficacy of Hebbian Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2501.17266v1
- Date: Mon, 06 Jan 2025 12:29:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-02 08:51:06.040274
- Title: Advancing the Biological Plausibility and Efficacy of Hebbian Convolutional Neural Networks
- Title（参考訳）: Hebbian Convolutional Neural Networksの生物学的利用可能性と有効性の向上
- Authors: Julian Jimenez Nimmo, Esther Mondragon,
- Abstract要約: 本稿では,画像処理のための畳み込みニューラルネットワーク(CNN)へのヘビアン学習の統合について述べる。
ヘビアン学習は、局所的な教師なしの神経情報に基づいて特徴表現を形成する。
その結果, より複雑で抽象的な受容領域を通じて, まばらな階層的学習の兆候が明らかとなった。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: The research presented in this paper advances the integration of Hebbian learning into Convolutional Neural Networks (CNNs) for image processing, systematically exploring different architectures to build an optimal configuration, adhering to biological tenability. Hebbian learning operates on local unsupervised neural information to form feature representations, providing an alternative to the popular but arguably biologically implausible and computationally intensive backpropagation learning algorithm. The suggested optimal architecture significantly enhances recent research aimed at integrating Hebbian learning with competition mechanisms and CNNs, expanding their representational capabilities by incorporating hard Winner-Takes-All (WTA) competition, Gaussian lateral inhibition mechanisms and Bienenstock-Cooper-Munro (BCM) learning rule in a single model. The resulting model achieved 76% classification accuracy on CIFAR-10, rivalling its end-to-end backpropagation variant (77%) and critically surpassing the state-of-the-art hard-WTA performance in CNNs of the same network depth (64.6%) by 11.4%. Moreover, results showed clear indications of sparse hierarchical learning through increasingly complex and abstract receptive fields. In summary, our implementation enhances both the performance and the generalisability of the learnt representations and constitutes a crucial step towards more biologically realistic artificial neural networks.
- Abstract（参考訳）: 本稿では,画像処理のための畳み込みニューラルネットワーク(CNN)へのヘビアン学習の統合を推進し,様々なアーキテクチャを体系的に探求し,生物学的な安定性を保ちながら最適な構成を構築する。
ヘビアンラーニングは、局所的な教師なしの神経情報に基づいて特徴表現を形成し、人気があるが生物学的に証明不能で計算集約的なバックプロパゲーション学習アルゴリズムに代わるものを提供する。
提案した最適アーキテクチャは,ヘビアン学習を競争機構やCNNと統合することを目的とした最近の研究を著しく強化し,ハードウィンナー・テイクス・オール(WTA)コンペティション,ガウス側方抑制機構,ビエンストック・クーパー・ムンロ(BCM)ラーニングルールを単一モデルに組み込むことにより,その表現能力を拡張した。
その結果、CIFAR-10の分類精度は76%に達し、エンドツーエンドのバックプロパゲーション変種(77%)に匹敵し、同じネットワーク深さ(64.6%)のCNNの最先端のハードWTA性能を11.4%上回った。
さらに, より複雑で抽象的な受容領域を通じて, スパース階層的学習の徴候が明らかとなった。
要約して,本実装は学習者表現の性能と汎用性を両立させ,より生物学的に現実的な人工ニューラルネットワークに向けた重要なステップを構成する。
関連論文リスト
- Memory Networks: Towards Fully Biologically Plausible Learning [2.7013801448234367]
現在の人工ニューラルネットワークは、バックプロパゲーションやウェイトシェアリングのような技術に依存しており、脳の自然な情報処理方法と一致しない。
本稿では,逆伝播や畳み込みを回避し,単一のパスで動作させる生物学的原理にインスパイアされたメモリネットワークを提案する。
論文 参考訳（メタデータ） (2024-09-18T06:01:35Z) - Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Augmentation is AUtO-Net: Augmentation-Driven Contrastive Multiview
Learning for Medical Image Segmentation [3.1002416427168304]
この論文は網膜血管セグメンテーションの課題に焦点を当てている。
深層学習に基づく医用画像セグメンテーションアプローチの広範な文献レビューを提供する。
効率的でシンプルな多視点学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-02T06:31:08Z) - Multiobjective Evolutionary Pruning of Deep Neural Networks with
Transfer Learning for improving their Performance and Robustness [15.29595828816055]
本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。
我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。
実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
論文 参考訳（メタデータ） (2023-02-20T19:33:38Z) - Convolutional Neural Generative Coding: Scaling Predictive Coding to
Natural Images [79.07468367923619]
畳み込み型神経生成符号化(Conv-NGC)を開発した。
我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。
本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
論文 参考訳（メタデータ） (2022-11-22T06:42:41Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳（メタデータ） (2021-03-31T08:15:17Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Sampled Training and Node Inheritance for Fast Evolutionary Neural
Architecture Search [22.483917379706725]
進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。
本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。
提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
論文 参考訳（メタデータ） (2020-03-07T12:33:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。