論文の概要: Sign and Relevance Learning
- arxiv url: http://arxiv.org/abs/2110.07292v4
- Date: Tue, 12 Sep 2023 17:01:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 18:51:33.744611
- Title: Sign and Relevance Learning
- Title(参考訳): サインと関連性学習
- Authors: Sama Daryanavard and Bernd Porr
- Abstract要約: 生物学的に現実的な強化学習の標準モデルは、浅いネットワークの使用を暗示するグローバルエラー信号を使用する。
本研究では,塑性変化の兆候のみを伝播させることにより,この問題を解決する新しいネットワークを提案する。
ニューロ変調は、修正エラーまたは関連信号として理解でき、エラー信号のトップダウンサインは、長期的うつ病が発生するかどうかを決定する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard models of biologically realistic or biologically inspired
reinforcement learning employ a global error signal, which implies the use of
shallow networks. On the other hand, error backpropagation allows the use of
networks with multiple layers. However, precise error backpropagation is
difficult to justify in biologically realistic networks because it requires
precise weighted error backpropagation from layer to layer. In this study, we
introduce a novel network that solves this problem by propagating only the sign
of the plasticity change (i.e., LTP/LTD) throughout the whole network, while
neuromodulation controls the learning rate. Neuromodulation can be understood
as a rectified error or relevance signal, while the top-down sign of the error
signal determines whether long-term potentiation or long-term depression will
occur. To demonstrate the effectiveness of this approach, we conducted a real
robotic task as proof of concept. Our results show that this paradigm can
successfully perform complex tasks using a biologically plausible learning
mechanism.
- Abstract(参考訳): 生物学的に現実的あるいは生物学的にインスパイアされた強化学習の標準モデルは、浅いネットワークの使用を意味するグローバルエラー信号を使用する。
一方、エラーのバックプロパゲーションにより、複数のレイヤを持つネットワークを使用できる。
しかし, 生物学的に現実的なネットワークでは, 層間を正確に重み付けした誤りバックプロパゲーションが必要となるため, 正確な誤りバックプロパゲーションを正当化することは困難である。
本研究では,ネットワーク全体の可塑性変化の兆候(LTP/LTD)のみを伝播させ,ニューロ変調が学習率を制御することによって,この問題を解決する新しいネットワークを提案する。
ニューロモジュレーションは整流エラーまたは関連信号として解釈できるが、エラー信号の上位ダウンサインは長期増強または長期抑うつが起こるかどうかを判断する。
提案手法の有効性を実証するために,概念実証として実際のロボット作業を行った。
その結果,このパラダイムは生物学的に妥当な学習機構を用いて複雑なタスクを遂行できることがわかった。
関連論文リスト
- Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳(メタデータ) (2024-02-29T00:02:33Z) - Dis-inhibitory neuronal circuits can control the sign of synaptic
plasticity [6.227678387562755]
繰り返し抑制がヘビアン可塑性に顕著に影響を及ぼすと,エラー変調学習が回路レベルで自然に現れることを示す。
本研究は, 機能的および実験的に観察された可塑性規則のギャップを埋めるものである。
論文 参考訳(メタデータ) (2023-10-30T15:06:19Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳(メタデータ) (2023-06-14T01:24:42Z) - Learning efficient backprojections across cortical hierarchies in real
time [1.6474865533365743]
階層型大脳皮質階層における効率的なフィードバック重み付けを学習するための生物工学的手法を提案する。
すべての重みは、常にオンの可塑性と同時に学習され、シナプスにローカルに利用可能な情報のみを使用する。
提案手法は幅広いモデルに適用可能であり, 既知の生物学的に妥当な信用代入方法を改善する。
論文 参考訳(メタデータ) (2022-12-20T13:54:04Z) - Single-phase deep learning in cortico-cortical networks [1.7249361224827535]
バーストCCNは,バースト活動,短期可塑性,樹状突起を対象とする神経介在物を統合した新しいモデルである。
以上の結果から,脳内皮下,細胞下,マイクロサーキット,システムレベルでの皮質的特徴は,脳内単相効率の深層学習と一致していることが示唆された。
論文 参考訳(メタデータ) (2022-06-23T15:10:57Z) - Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。
我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。
DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
論文 参考訳(メタデータ) (2022-04-14T22:06:21Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement
Learning Agents [0.0]
ニューラルネットワークをトレーニングする別の方法は、ネットワークの各ユニットを強化学習エージェントとして扱うことである。
本稿では,この分散を著しく低減するMAP伝搬という新しいアルゴリズムを提案する。
当社の作業は、深層強化学習におけるエージェントチームの広範な適用を可能にします。
論文 参考訳(メタデータ) (2020-10-15T17:17:39Z) - Learning to Learn with Feedback and Local Plasticity [9.51828574518325]
我々はメタラーニングを用いて、フィードバック接続と局所的、生物学的にインスパイアされた学習ルールを用いて学習するネットワークを発見する。
実験の結果, メタトレーニングネットワークは, 多層アーキテクチャにおけるオンラインクレジット割り当てにフィードバック接続を効果的に利用していることがわかった。
論文 参考訳(メタデータ) (2020-06-16T22:49:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。