論文の概要: Hebbian learning with gradients: Hebbian convolutional neural networks
with modern deep learning frameworks
- arxiv url: http://arxiv.org/abs/2107.01729v2
- Date: Mon, 1 Nov 2021 17:35:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-23 11:21:25.440015
- Title: Hebbian learning with gradients: Hebbian convolutional neural networks
with modern deep learning frameworks
- Title（参考訳）: 勾配を用いたヘビー学習--現代ディープラーニングフレームワークを用いたヘビー畳み込みニューラルネットワーク
- Authors: Thomas Miconi
- Abstract要約: 階層的,畳み込みニューラルネットワークにおけるヘビアン学習は,現代のディープラーニングフレームワークとほぼ自明に実装可能であることを示す。
我々はオブジェクト認識のためのヘビアン畳み込み多層ネットワークを構築した。
- 参考スコア（独自算出の注目度）: 2.7666483899332643
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning networks generally use non-biological learning methods. By
contrast, networks based on more biologically plausible learning, such as
Hebbian learning, show comparatively poor performance and difficulties of
implementation. Here we show that Hebbian learning in hierarchical,
convolutional neural networks can be implemented almost trivially with modern
deep learning frameworks, by using specific losses whose gradients produce
exactly the desired Hebbian updates. We provide expressions whose gradients
exactly implement a plain Hebbian rule (dw ~= xy), Grossberg's instar rule (dw
~= y(x-w)), and Oja's rule (dw ~= y(x-yw)). As an application, we build Hebbian
convolutional multi-layer networks for object recognition. We observe that
higher layers of such networks tend to learn large, simple features (Gabor-like
filters and blobs), explaining the previously reported decrease in decoding
performance over successive layers. To combat this tendency, we introduce
interventions (denser activations with sparse plasticity, pruning of
connections between layers) which result in sparser learned features, massively
increase performance, and allow information to increase over successive layers.
We hypothesize that more advanced techniques (dynamic stimuli, trace learning,
feedback connections, etc.), together with the massive computational boost
offered by modern deep learning frameworks, could greatly improve the
performance and biological relevance of multi-layer Hebbian networks.
- Abstract（参考訳）: 深層学習ネットワークは一般に非生物学的学習法を用いる。
対照的に、Hebbian Learningのような生物学的にもっとも有効な学習に基づくネットワークは、比較的性能が劣り、実装の難しさを示している。
ここでは,階層的,畳み込み型ニューラルネットワークにおけるヘビアン学習が,最新のディープラーニングフレームワークとほぼ簡単に実装可能であることを示す。
勾配が平ヘビアン規則(dw ~= xy)、グロスベルクの星内規則(dw ~= y(x-w))、オジャの規則(dw ~= y(x-yw))を正確に実装した式を提供する。
アプリケーションとして,オブジェクト認識のためのヘビアン畳み込み多層ネットワークを構築する。
このようなネットワークの上位層は大規模で単純な特徴(ガボライクなフィルタやブロブ)を学習する傾向にあり,従来報告されていたデコード性能の低下が説明できる。
この傾向に対処するために、我々は、学習された特徴をスパーサーし、性能を大幅に向上させ、情報が連続する層を越えて増加するようにするための介入(可塑性の少ないデンサー活性化、層間の接続の刈り込み)を導入する。
我々は、より高度な技術(動的刺激、トレース学習、フィードバック接続など)と、現代のディープラーニングフレームワークが提供する膨大な計算能力によって、多層ヘビーネットワークのパフォーマンスと生物学的関連性が大幅に向上すると仮定する。
関連論文リスト
- Network Degeneracy as an Indicator of Training Performance: Comparing
Finite and Infinite Width Angle Predictions [3.04585143845864]
ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。
完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
論文 参考訳（メタデータ） (2023-06-02T13:02:52Z) - Improving the Trainability of Deep Neural Networks through Layerwise
Batch-Entropy Regularization [1.3999481573773072]
ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。
損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
論文 参考訳（メタデータ） (2022-08-01T20:31:58Z) - Hebbian Continual Representation Learning [9.54473759331265]
継続的学習は、より現実的なシナリオに機械学習をもたらすことを目的としています。
生物学的にインスパイアされたヘビアン学習が継続的な課題に対処するのに有用かどうかを検討する。
論文 参考訳（メタデータ） (2022-06-28T09:21:03Z) - Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。
その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
論文 参考訳（メタデータ） (2021-05-11T08:15:25Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - PyTorch-Hebbian: facilitating local learning in a deep learning
framework [67.67299394613426]
ヘビーンの局所学習は、バックプロパゲーションの代替の訓練メカニズムとしての可能性を示している。
本稿では,既存のディープラーニングパイプラインにおける局所学習ルールの網羅的かつ体系的な評価のための枠組みを提案する。
このフレームワークは、Krotov-Hopfield学習規則を精度を犠牲にすることなく標準の畳み込みニューラルネットワークに拡張するために使用される。
論文 参考訳（メタデータ） (2021-01-31T10:53:08Z) - A Layer-Wise Information Reinforcement Approach to Improve Learning in
Deep Belief Networks [0.4893345190925178]
本稿では,情報強化層を層単位で検討し,特徴抽出と知識保持を改善するResidual Deep Belief Networkを提案する。
3つの公開データセットで実施した実験は、バイナリイメージ分類のタスクに関する堅牢性を示している。
論文 参考訳（メタデータ） (2021-01-17T18:53:18Z) - LoCo: Local Contrastive Representation Learning [93.98029899866866]
重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。
このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
論文 参考訳（メタデータ） (2020-08-04T05:41:29Z) - From Federated to Fog Learning: Distributed Machine Learning over
Heterogeneous Wireless Networks [71.23327876898816]
フェデレートラーニング(Federated Learning)は、データを収集するノード間で処理能力を活用することによって、ネットワークエッジでMLモデルをトレーニングするテクニックとして登場した。
我々は、エッジデバイスからクラウドサーバへのノード連続体にMLモデルのトレーニングをインテリジェントに分散する、フォグラーニングと呼ばれる新しい学習パラダイムを提唱する。
論文 参考訳（メタデータ） (2020-06-07T05:11:18Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳（メタデータ） (2020-03-04T17:52:48Z) - Introducing Fuzzy Layers for Deep Learning [5.209583609264815]
ディープラーニングにはファジィレイヤという,新たなレイヤを導入しています。
従来、ニューラルネットワークのネットワークアーキテクチャは、入力層、隠された層の組み合わせ、出力層から構成されていた。
本稿では,ファジィ手法によって表現される強力な集約特性を活用するために,ファジィ層をディープラーニングアーキテクチャに導入することを提案する。
論文 参考訳（メタデータ） (2020-02-21T19:33:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。