論文の概要: Advancing the Biological Plausibility and Efficacy of Hebbian Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2501.17266v2
• Date: Fri, 28 Mar 2025 16:11:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:06:06.258417
• Title: Advancing the Biological Plausibility and Efficacy of Hebbian Convolutional Neural Networks
• Title（参考訳）: Hebbian Convolutional Neural Networksの生物学的利用可能性と有効性の向上
• Authors: Julian Jimenez Nimmo, Esther Mondragon,
• Abstract要約: 本稿では,画像処理のための畳み込みニューラルネットワーク(CNN)へのヘビアン学習の統合について述べる。 ヘビアン学習は、局所的な教師なしの神経情報に基づいて特徴表現を形成する。 その結果, より複雑で受容的な領域を通じて, まばらな階層的学習の徴候がみられた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The research presented in this paper advances the integration of Hebbian learning into Convolutional Neural Networks (CNNs) for image processing, systematically exploring different architectures to build an optimal configuration, adhering to biological tenability. Hebbian learning operates on local unsupervised neural information to form feature representations, providing an alternative to the popular but arguably biologically implausible and computationally intensive backpropagation learning algorithm. The suggested optimal architecture significantly enhances recent research aimed at integrating Hebbian learning with competition mechanisms and CNNs, expanding their representational capabilities by incorporating hard Winner-Takes-All (WTA) competition, Gaussian lateral inhibition mechanisms, and Bienenstock-Cooper-Munro (BCM) learning rule in a single model. Mean accuracy classification measures during the last half of test epochs on CIFAR-10 revealed that the resulting optimal model matched its end-to-end backpropagation variant with 75.2% each, critically surpassing the state-of-the-art hard-WTA performance in CNNs of the same network depth (64.6%) by 10.6%. It also achieved competitive performance on MNIST (98%) and STL-10 (69.5%). Moreover, results showed clear indications of sparse hierarchical learning through increasingly complex and abstract receptive fields. In summary, our implementation enhances both the performance and the generalisability of the learnt representations and constitutes a crucial step towards more biologically realistic artificial neural networks.
• Abstract（参考訳）: 本稿では,画像処理のための畳み込みニューラルネットワーク(CNN)へのヘビアン学習の統合を推進し,様々なアーキテクチャを体系的に探求し,生物学的な安定性を保ちながら最適な構成を構築する。 ヘビアンラーニングは、局所的な教師なしの神経情報に基づいて特徴表現を形成し、人気があるが生物学的に証明不能で計算集約的なバックプロパゲーション学習アルゴリズムに代わるものを提供する。 提案した最適アーキテクチャは,ヘビアン学習を競争機構やCNNと統合することを目的とした最近の研究を著しく強化し,ハードウィンナー・テイクス・オール(WTA)コンペティション,ガウス側方抑制機構,ビエンストック・クーパー・ムンロ(BCM)ラーニングルールを単一モデルに組み込むことにより,その表現能力を拡張した。 CIFAR-10の試験の後半における平均精度の分類は、結果の最適モデルは75.2%で、同じネットワーク深さ(64.6%)のCNNの最先端のハードWTA性能を10.6%上回った。 また、MNIST(98%)とSTL-10(69.5%)の競争性能も達成した。 さらに, より複雑で抽象的な受容領域を通じて, スパース階層的学習の徴候が明らかとなった。 要約して,本実装は学習者表現の性能と汎用性を両立させ,より生物学的に現実的な人工ニューラルネットワークに向けた重要なステップを構成する。

関連論文リスト

• Stochastic Engrams for Efficient Continual Learning with Binarized Neural Networks [4.014396794141682]
  我々は,メタプラスティック二項化ニューラルネットワーク(mBNN)のゲーティング機構として,可塑性活性化エングラムを統合した新しいアプローチを提案する。 以上の結果から, (A) トレードオフに対する安定性の向上, (B) メモリ集中度低下, (C) 双項化アーキテクチャの性能向上が示された。
  論文  参考訳（メタデータ） (2025-03-27T12:21:00Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
  高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。 本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
  論文  参考訳（メタデータ） (2024-05-27T05:06:24Z)
• Leveraging Pre-trained CNNs for Efficient Feature Extraction in Rice Leaf Disease Classification [1.4874449172133892]
  我々は、事前訓練された畳み込みニューラルネットワーク(CNN)における特徴抽出手法の統合の影響を厳格に評価する。 オリエントグラディエント(HOG)のヒストグラムはアーキテクチャ全体で大幅に改善され、特にEfficientNet-B7の精度は92%から97%に向上した。 Grad-CAMは、HOG統合が疾患特異的な特徴への注意を高め、観察されたパフォーマンス向上を裏付けることを明らかにした。
  論文  参考訳（メタデータ） (2024-02-26T07:19:48Z)
• Augmentation is AUtO-Net: Augmentation-Driven Contrastive Multiview Learning for Medical Image Segmentation [3.1002416427168304]
  この論文は網膜血管セグメンテーションの課題に焦点を当てている。 深層学習に基づく医用画像セグメンテーションアプローチの広範な文献レビューを提供する。 効率的でシンプルな多視点学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-02T06:31:08Z)
• Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference [13.924924047051782]
  スパイキングニューラルネットワーク(SNN)の深部畳み込みアーキテクチャは、画像分類性能を大幅に向上し、計算負荷を低減した。 本研究は、MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て、新しい経路を探求する。 MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。 我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
  論文  参考訳（メタデータ） (2023-06-21T16:52:20Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness [15.29595828816055]
  本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。 我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。 実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
  論文  参考訳（メタデータ） (2023-02-20T19:33:38Z)
• PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
  本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。 教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。 この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T09:56:02Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• A Robust Backpropagation-Free Framework for Images [47.97322346441165]
  画像データに対するエラーカーネル駆動型アクティベーションアライメントアルゴリズムを提案する。 EKDAAは、ローカルに派生したエラー送信カーネルとエラーマップを導入することで達成される。 結果は、識別不能なアクティベーション機能を利用するEKDAAトレーニングCNNに対して提示される。
  論文  参考訳（メタデータ） (2022-06-03T21:14:10Z)
• Biologically inspired deep residual networks for computer vision applications [0.0]
  本稿では, 六角形畳み込みをスキップ接続に沿って導入する, 生物学的にインスパイアされた深部ニューラルネットワークを提案する。 提案手法は,バニラResNetアーキテクチャのベースライン画像分類精度を向上させる。
  論文  参考訳（メタデータ） (2022-05-05T10:23:43Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Medulloblastoma Tumor Classification using Deep Transfer Learning with Multi-Scale EfficientNets [63.62764375279861]
  本稿では,エンド・ツー・エンドのMB腫瘍分類を提案し,様々な入力サイズとネットワーク次元の一致した移動学習を提案する。 161ケースのデータセットを用いて、より大規模な入力解像度を持つ事前学習されたEfficientNetが、大幅な性能改善をもたらすことを実証した。
  論文  参考訳（メタデータ） (2021-09-10T13:07:11Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Sampled Training and Node Inheritance for Fast Evolutionary Neural Architecture Search [22.483917379706725]
  進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。 本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。 提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-07T12:33:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。