論文の概要: Kernelized information bottleneck leads to biologically plausible
3-factor Hebbian learning in deep networks
- arxiv url: http://arxiv.org/abs/2006.07123v2
- Date: Fri, 23 Oct 2020 17:00:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 03:32:56.247458
- Title: Kernelized information bottleneck leads to biologically plausible
3-factor Hebbian learning in deep networks
- Title（参考訳）: 核化情報ボトルネックは深層ネットワークにおける生物学的に有望な3因子ヘビー学習をもたらす
- Authors: Roman Pogodin and Peter E. Latham
- Abstract要約: これらの問題に苦しむことのない学習ルールのファミリーを提示する。
結果として生じる規則は3要素のヘビアン構造を持つ。
正確なラベルは必要とせず、代わりに所望の出力のペア間の類似性に依存する。
- 参考スコア（独自算出の注目度）: 6.09170287691728
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The state-of-the art machine learning approach to training deep neural
networks, backpropagation, is implausible for real neural networks: neurons
need to know their outgoing weights; training alternates between a bottom-up
forward pass (computation) and a top-down backward pass (learning); and the
algorithm often needs precise labels of many data points. Biologically
plausible approximations to backpropagation, such as feedback alignment, solve
the weight transport problem, but not the other two. Thus, fully biologically
plausible learning rules have so far remained elusive. Here we present a family
of learning rules that does not suffer from any of these problems. It is
motivated by the information bottleneck principle (extended with kernel
methods), in which networks learn to compress the input as much as possible
without sacrificing prediction of the output. The resulting rules have a
3-factor Hebbian structure: they require pre- and post-synaptic firing rates
and an error signal - the third factor - consisting of a global teaching signal
and a layer-specific term, both available without a top-down pass. They do not
require precise labels; instead, they rely on the similarity between pairs of
desired outputs. Moreover, to obtain good performance on hard problems and
retain biological plausibility, our rules need divisive normalization - a known
feature of biological networks. Finally, simulations show that our rules
perform nearly as well as backpropagation on image classification tasks.
- Abstract（参考訳）: ディープニューラルネットワークのトレーニング、バックプロパゲーションに関する最先端の機械学習アプローチは、実際のニューラルネットワークには当てはまらない – ニューロンは、そのアウトゴーイングウェイトを知る必要がある、ボトムアップフォワードパス(計算)とトップダウンの後方パス(学習)の間の代替のトレーニング、アルゴリズムは多くの場合、多くのデータポイントの正確なラベルを必要とする、といったものだ。
フィードバックアライメントなどのバックプロパゲーションに対する生物学的に妥当な近似は、重量輸送問題を解くが、他の2つは解決しない。
したがって、完全に生物学的に妥当な学習規則は、これまでのところ謎のままである。
ここでは、これらの問題に苦しむことのない学習ルールのファミリーを示す。
ネットワークが出力の予測を犠牲にすることなく可能な限り入力を圧縮することを学習する情報ボトルネック原理(カーネル法で拡張)によって動機付けられている。
これらの規則は3要素のヘビアン構造を持ち、前と後の間の発射速度とエラー信号(第3の要因)はグローバルな教示信号と層固有の用語から成り、どちらもトップダウンパスなしで利用できる。
正確なラベルは必要とせず、代わりに所望の出力のペア間の類似性に依存する。
さらに, 難易度を向上し, 生物学的信頼性を維持するためには, 生物ネットワークの既知の特徴である分割正規化が必要である。
最後に、シミュレーションにより、我々のルールは画像分類タスクのバックプロパゲーションとほぼ同等の性能を示す。
関連論文リスト
- Binary stochasticity enabled highly efficient neuromorphic deep learning
achieves better-than-software accuracy [17.11946381948498]
ディープラーニングには、フォワーディング信号の高精度処理、バックプロパゲーションエラー、ウェイトのアップデートが必要だ。
ノイズの多いアナログ・メムリスタを人工シナプスとして使用するハードウェアシステムでディープラーニングを実装することは困難である。
本稿では,全ての基本的ニューラルネットワーク操作を修飾する二進学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-25T14:38:36Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文 参考訳（メタデータ） (2022-01-21T02:16:52Z) - Convergence and Alignment of Gradient Descentwith Random Back
propagation Weights [6.338178373376447]
バックプロパゲーションによる勾配降下は 人工ニューラルネットワークの 働き方です
Lillicrapらは、ランダムなバックプロパゲーションと固定されたバックプロパゲーションの重みを利用する、生物学的にもっともらしい「フィードバックアライメント」アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-10T20:58:05Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Biologically plausible single-layer networks for nonnegative independent
component analysis [21.646490546361935]
生物学的に妥当な単一層ニューラルネットワークによるブラインドソース分離アルゴリズムを提案する。
生物学的信頼性のためには、神経回路の以下の3つの基本的な特性を満たすためにネットワークが必要である。
論文 参考訳（メタデータ） (2020-10-23T19:31:49Z) - Local plasticity rules can learn deep representations using
self-supervised contrastive predictions [3.6868085124383616]
生物学的制約を尊重するが、深い階層的な表現をもたらす学習規則はまだ不明である。
本稿では,神経科学からインスピレーションを得た学習ルールを提案し,近年の自己教師型深層学習の進歩について述べる。
この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。
論文 参考訳（メタデータ） (2020-10-16T09:32:35Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - NeuroFabric: Identifying Ideal Topologies for Training A Priori Sparse
Networks [2.398608007786179]
ディープニューラルネットワークの長いトレーニング時間は、機械学習研究のボトルネックである。
層内トポロジーの選択に関する理論的基礎を提供する。
類似したトポロジが達成可能な精度に大きな差があることがよく示される。
論文 参考訳（メタデータ） (2020-02-19T18:29:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。