論文の概要: PyTorch-Hebbian: facilitating local learning in a deep learning framework

• arxiv url: http://arxiv.org/abs/2102.00428v1
• Date: Sun, 31 Jan 2021 10:53:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 15:52:44.602290
• Title: PyTorch-Hebbian: facilitating local learning in a deep learning framework
• Title（参考訳）: PyTorch-Hebbian: ディープラーニングフレームワークによるローカル学習の促進
• Authors: Jules Talloen, Joni Dambre, Alexander Vandesompele
• Abstract要約: ヘビーンの局所学習は、バックプロパゲーションの代替の訓練メカニズムとしての可能性を示している。 本稿では,既存のディープラーニングパイプラインにおける局所学習ルールの網羅的かつ体系的な評価のための枠組みを提案する。 このフレームワークは、Krotov-Hopfield学習規則を精度を犠牲にすることなく標準の畳み込みニューラルネットワークに拡張するために使用される。
• 参考スコア（独自算出の注目度）: 67.67299394613426
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, unsupervised local learning, based on Hebb's idea that change in synaptic efficacy depends on the activity of the pre- and postsynaptic neuron only, has shown potential as an alternative training mechanism to backpropagation. Unfortunately, Hebbian learning remains experimental and rarely makes it way into standard deep learning frameworks. In this work, we investigate the potential of Hebbian learning in the context of standard deep learning workflows. To this end, a framework for thorough and systematic evaluation of local learning rules in existing deep learning pipelines is proposed. Using this framework, the potential of Hebbian learned feature extractors for image classification is illustrated. In particular, the framework is used to expand the Krotov-Hopfield learning rule to standard convolutional neural networks without sacrificing accuracy compared to end-to-end backpropagation. The source code is available at https://github.com/Joxis/pytorch-hebbian.
• Abstract（参考訳）: 近年では、シナプス効果の変化はシナプス前ニューロンとシナプス後ニューロンのみの活性に依存するというヘッブの考えに基づく教師なしの局所学習が、バックプロパゲーションの代替の訓練メカニズムとしての可能性を示している。 残念ながら、hebbian learningはまだ実験段階であり、標準的なディープラーニングフレームワークに入ることは滅多にない。 本研究では,標準的なディープラーニングワークフローの文脈におけるヘビアン学習の可能性を検討する。 そこで本研究では,既存の深層学習パイプラインにおける局所学習ルールを徹底的かつ体系的に評価する枠組みを提案する。 この枠組みを用いて,画像分類のためのヘビー学習特徴抽出器の可能性を示す。 特に、このフレームワークは、エンドツーエンドのバックプロパゲーションよりも精度を犠牲にすることなく、krotov-hopfield学習ルールを標準畳み込みニューラルネットワークに拡張するために使用される。 ソースコードはhttps://github.com/joxis/pytorch-hebbianで入手できる。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Activation Learning by Local Competitions [4.441866681085516]
  我々は,神経細胞間の局所的な競合によって特徴を見出す,生物学に着想を得た学習ルールを開発した。 この局所学習規則によって学習された教師なし特徴が事前学習モデルとして機能することが実証された。
  論文  参考訳（メタデータ） (2022-09-26T10:43:29Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Hebbian Continual Representation Learning [9.54473759331265]
  継続的学習は、より現実的なシナリオに機械学習をもたらすことを目的としています。 生物学的にインスパイアされたヘビアン学習が継続的な課題に対処するのに有用かどうかを検討する。
  論文  参考訳（メタデータ） (2022-06-28T09:21:03Z)
• Hebbian learning with gradients: Hebbian convolutional neural networks with modern deep learning frameworks [2.7666483899332643]
  階層的,畳み込みニューラルネットワークにおけるヘビアン学習は,現代のディープラーニングフレームワークとほぼ自明に実装可能であることを示す。 我々はオブジェクト認識のためのヘビアン畳み込み多層ネットワークを構築した。
  論文  参考訳（メタデータ） (2021-07-04T20:50:49Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。