論文の概要: Sign and Relevance learning

• arxiv url: http://arxiv.org/abs/2110.07292v1
• Date: Thu, 14 Oct 2021 11:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 22:22:39.645864
• Title: Sign and Relevance learning
• Title（参考訳）: サインと関連性学習
• Authors: Sama Daryanavard and Bernd Porr
• Abstract要約: 本稿では,局所学習とグローバル変調を組み合わせたネットワークを提案し,ネットワーク全体の可塑性変化量をニューロ変調が制御する。 神経変調は、エラー信号のボトムアップサインが長期増強と長期抑うつを決定している間に、修正エラーまたは関連信号として理解することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard models of biologically realistic, or inspired, reinforcement learning employ a global error signal which implies shallow networks. However, deep networks could offer a drastically superior performance by feeding the error signal backwards through such a network which in turn is not biologically realistic as it requires symmetric weights between top-down and bottom-up pathways. Instead, we present a network combining local learning with global modulation where neuromodulation controls the amount of plasticity change in the whole network, while only the sign of the error is backpropagated through the network. The neuromodulation can be understood as a rectified error, or relevance, signal while the bottom-up sign of the error signal decides between long-term potentiation and long-term depression. We demonstrate the performance of this paradigm with a real robotic task.
• Abstract（参考訳）: 生物学的に現実的な、あるいはインスパイアされた強化学習の標準モデルは、浅いネットワークを暗示するグローバルエラー信号を用いる。 しかし、ディープネットワークは、トップダウン経路とボトムアップ経路の間の対称重みを必要とするため、生物学的に現実的ではないそのようなネットワークを通してエラー信号を後方に送ることで、著しく優れた性能を提供することができる。 代わりに、局所学習とグローバル変調を組み合わせたネットワークを提案し、ネットワーク全体の可塑性変化量をニューロ変調が制御し、エラーの兆候だけがネットワークを通して逆伝播される。 神経変調は、エラー信号のボトムアップサインが長期増強と長期抑うつを決定している間に、修正エラーまたは関連信号として理解することができる。 我々は、このパラダイムのパフォーマンスを実際のロボットタスクで実証する。

関連論文リスト

• Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning [32.122425860826525]
  生物学的妥当性の欠如が 批判されている 本稿では,ニューラルネットワークにおけるクレジット代入のための生物学的に妥当なフレームワークである対流学習(CCL)を提案する。 我々の研究は、ニューラルネットワークにおける学習と適応の代替メカニズムを提供する、生物学的にインスパイアされた、そして実証可能な学習アルゴリズムの方向性を示す。
  論文  参考訳（メタデータ） (2024-09-30T00:47:13Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Learning efficient backprojections across cortical hierarchies in real time [1.6474865533365743]
  階層型大脳皮質階層における効率的なフィードバック重み付けを学習するための生物工学的手法を提案する。 すべての重みは、常にオンの可塑性と同時に学習され、シナプスにローカルに利用可能な情報のみを使用する。 提案手法は幅広いモデルに適用可能であり, 既知の生物学的に妥当な信用代入方法を改善する。
  論文  参考訳（メタデータ） (2022-12-20T13:54:04Z)
• Single-phase deep learning in cortico-cortical networks [1.7249361224827535]
  バーストCCNは,バースト活動,短期可塑性,樹状突起を対象とする神経介在物を統合した新しいモデルである。 以上の結果から,脳内皮下,細胞下,マイクロサーキット,システムレベルでの皮質的特徴は,脳内単相効率の深層学習と一致していることが示唆された。
  論文  参考訳（メタデータ） (2022-06-23T15:10:57Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement Learning Agents [0.0]
  ニューラルネットワークをトレーニングする別の方法は、ネットワークの各ユニットを強化学習エージェントとして扱うことである。 本稿では,この分散を著しく低減するMAP伝搬という新しいアルゴリズムを提案する。 当社の作業は、深層強化学習におけるエージェントチームの広範な適用を可能にします。
  論文  参考訳（メタデータ） (2020-10-15T17:17:39Z)
• Learning to Learn with Feedback and Local Plasticity [9.51828574518325]
  我々はメタラーニングを用いて、フィードバック接続と局所的、生物学的にインスパイアされた学習ルールを用いて学習するネットワークを発見する。 実験の結果, メタトレーニングネットワークは, 多層アーキテクチャにおけるオンラインクレジット割り当てにフィードバック接続を効果的に利用していることがわかった。
  論文  参考訳（メタデータ） (2020-06-16T22:49:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。