論文の概要: Local plasticity rules can learn deep representations using self-supervised contrastive predictions

• arxiv url: http://arxiv.org/abs/2010.08262v5
• Date: Mon, 25 Oct 2021 10:23:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 19:56:17.562442
• Title: Local plasticity rules can learn deep representations using self-supervised contrastive predictions
• Title（参考訳）: 局所可塑性規則は自己教師付きコントラスト予測を用いて深部表現を学習できる
• Authors: Bernd Illing, Jean Ventura, Guillaume Bellec, Wulfram Gerstner
• Abstract要約: 生物学的制約を尊重するが、深い階層的な表現をもたらす学習規則はまだ不明である。 本稿では,神経科学からインスピレーションを得た学習ルールを提案し,近年の自己教師型深層学習の進歩について述べる。 この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。
• 参考スコア（独自算出の注目度）: 3.6868085124383616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning in the brain is poorly understood and learning rules that respect biological constraints, yet yield deep hierarchical representations, are still unknown. Here, we propose a learning rule that takes inspiration from neuroscience and recent advances in self-supervised deep learning. Learning minimizes a simple layer-specific loss function and does not need to back-propagate error signals within or between layers. Instead, weight updates follow a local, Hebbian, learning rule that only depends on pre- and post-synaptic neuronal activity, predictive dendritic input and widely broadcasted modulation factors which are identical for large groups of neurons. The learning rule applies contrastive predictive learning to a causal, biological setting using saccades (i.e. rapid shifts in gaze direction). We find that networks trained with this self-supervised and local rule build deep hierarchical representations of images, speech and video.
• Abstract（参考訳）: 脳での学習はよく理解されておらず、生物学的制約を尊重するが、深い階層的表現をもたらす学習規則はまだ不明である。 本稿では,神経科学から着想を得た学習規則と,自己教師付き深層学習の最近の進歩を提案する。 学習は単純な層固有の損失関数を最小限に抑え、層内または層間においてエラー信号をバックプロパゲートする必要がない。 代わりに、体重の更新は、シナプス前およびシナプス後における神経活動、予測樹状体入力、および大きなニューロンのグループで同一の広く放送される調節因子にのみ依存する局所的なヘビアン学習規則に従う。 学習規則は、ササード(すなわち視線方向の急激なシフト)を用いた因果的生物学的設定に対照的な予測学習を適用する。 この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。

関連論文リスト

• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• The Influence of Learning Rule on Representation Dynamics in Wide Neural Networks [18.27510863075184]
  我々は、フィードバックアライメント(FA)、ダイレクトフィードバックアライメント(DFA)、エラー変調ヘビアン学習(Hebb)で訓練された無限幅の深い勾配ネットワークを解析する。 これらの学習規則のそれぞれに対して、無限幅での出力関数の進化は、時間変化の有効なニューラルネットワークカーネル(eNTK)によって制御されることを示す。 遅延訓練限界では、このeNTKは静的であり、進化しないが、リッチ平均場状態では、このカーネルの進化は動的平均場理論(DMFT)と自己整合的に決定することができる。
  論文  参考訳（メタデータ） (2022-10-05T11:33:40Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Hebbian Continual Representation Learning [9.54473759331265]
  継続的学習は、より現実的なシナリオに機械学習をもたらすことを目的としています。 生物学的にインスパイアされたヘビアン学習が継続的な課題に対処するのに有用かどうかを検討する。
  論文  参考訳（メタデータ） (2022-06-28T09:21:03Z)
• Distinguishing Learning Rules with Brain Machine Interfaces [0.0]
  生物学的に妥当な教師付きおよび強化学習ルールを検討する。 学習中のネットワーク活動の変化を観察することにより,学習ルールを区別する指標を導出する。
  論文  参考訳（メタデータ） (2022-06-27T16:58:30Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Continual learning under domain transfer with sparse synaptic bursting [2.314558204145174]
  我々は、未確認のデータセットを逐次学習するシステムを、時間とともにほとんど忘れずに導入する。 本手法は,タスク間で再資源化される重みのスパースバーストを伴って,ドメイン転送下で連続的に学習する。
  論文  参考訳（メタデータ） (2021-08-26T22:53:27Z)
• PyTorch-Hebbian: facilitating local learning in a deep learning framework [67.67299394613426]
  ヘビーンの局所学習は、バックプロパゲーションの代替の訓練メカニズムとしての可能性を示している。 本稿では,既存のディープラーニングパイプラインにおける局所学習ルールの網羅的かつ体系的な評価のための枠組みを提案する。 このフレームワークは、Krotov-Hopfield学習規則を精度を犠牲にすることなく標準の畳み込みニューラルネットワークに拡張するために使用される。
  論文  参考訳（メタデータ） (2021-01-31T10:53:08Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• Kernelized information bottleneck leads to biologically plausible 3-factor Hebbian learning in deep networks [6.09170287691728]
  これらの問題に苦しむことのない学習ルールのファミリーを提示する。 結果として生じる規則は3要素のヘビアン構造を持つ。 正確なラベルは必要とせず、代わりに所望の出力のペア間の類似性に依存する。
  論文  参考訳（メタデータ） (2020-06-12T12:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。