論文の概要: Learning efficient backprojections across cortical hierarchies in real
time
- arxiv url: http://arxiv.org/abs/2212.10249v2
- Date: Fri, 2 Feb 2024 12:29:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 20:53:35.334044
- Title: Learning efficient backprojections across cortical hierarchies in real
time
- Title（参考訳）: 皮質階層間の効率的なバックプロジェクションをリアルタイムに学習する
- Authors: Kevin Max, Laura Kriener, Garibaldi Pineda Garc\'ia, Thomas Nowotny,
Ismael Jaras, Walter Senn, Mihai A. Petrovici
- Abstract要約: 階層型大脳皮質階層における効率的なフィードバック重み付けを学習するための生物工学的手法を提案する。
すべての重みは、常にオンの可塑性と同時に学習され、シナプスにローカルに利用可能な情報のみを使用する。
提案手法は幅広いモデルに適用可能であり, 既知の生物学的に妥当な信用代入方法を改善する。
- 参考スコア（独自算出の注目度）: 1.6474865533365743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Models of sensory processing and learning in the cortex need to efficiently
assign credit to synapses in all areas. In deep learning, a known solution is
error backpropagation, which however requires biologically implausible weight
transport from feed-forward to feedback paths.
We introduce Phaseless Alignment Learning (PAL), a bio-plausible method to
learn efficient feedback weights in layered cortical hierarchies. This is
achieved by exploiting the noise naturally found in biophysical systems as an
additional carrier of information. In our dynamical system, all weights are
learned simultaneously with always-on plasticity and using only information
locally available to the synapses. Our method is completely phase-free (no
forward and backward passes or phased learning) and allows for efficient error
propagation across multi-layer cortical hierarchies, while maintaining
biologically plausible signal transport and learning.
Our method is applicable to a wide class of models and improves on previously
known biologically plausible ways of credit assignment: compared to random
synaptic feedback, it can solve complex tasks with less neurons and learn more
useful latent representations. We demonstrate this on various classification
tasks using a cortical microcircuit model with prospective coding.
- Abstract（参考訳）: 大脳皮質における知覚処理と学習のモデルは、あらゆる領域のシナプスに対するクレジットを効率的に割り当てる必要がある。
ディープラーニングでは、既知の解決策はエラーバックプロパゲーションであるが、フィードフォワードからフィードバックパスへの生物学的に意味のない重量輸送が必要である。
階層型大脳皮質階層における効率的なフィードバック重み付けを学習するための生物工学的手法であるPALを導入する。
これは、生体物理学システムで自然に見られるノイズを付加的な情報キャリアとして利用することで達成される。
私たちの力学系では、全ての重みは常時オン可塑性と同時に学習され、シナプスで利用可能な情報のみを使用する。
本手法は完全に位相フリー(前・後・後進学習なし)であり,生物学的に妥当な信号伝達と学習を維持しつつ,多層皮質階層間の効率的な誤り伝播を可能にする。
提案手法は幅広いモデルに適用可能であり,既知の生物学的に妥当な信用代入方法を改善する。ランダムなシナプスフィードバックと比較して,ニューロンが少ない複雑なタスクを解くことができ,より有用な潜在表現を学習することができる。
予測符号化を用いた皮質マイクロサーキットモデルを用いて,様々な分類タスクでこれを示す。
関連論文リスト
- The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。
我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。
PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文 参考訳（メタデータ） (2023-01-04T05:34:48Z) - Single-phase deep learning in cortico-cortical networks [1.7249361224827535]
バーストCCNは,バースト活動,短期可塑性,樹状突起を対象とする神経介在物を統合した新しいモデルである。
以上の結果から,脳内皮下,細胞下,マイクロサーキット,システムレベルでの皮質的特徴は,脳内単相効率の深層学習と一致していることが示唆された。
論文 参考訳（メタデータ） (2022-06-23T15:10:57Z) - Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。
我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。
DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
論文 参考訳（メタデータ） (2022-04-14T22:06:21Z) - Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
自律運転システムには2つの主要なアルゴリズムアプローチがある。
ディープラーニングだけでは、多くの分野で最先端の結果が得られています。
しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
論文 参考訳（メタデータ） (2022-03-28T20:29:50Z) - Sign and Relevance Learning [0.0]
生物学的に現実的な強化学習の標準モデルは、浅いネットワークの使用を暗示するグローバルエラー信号を使用する。
本研究では,塑性変化の兆候のみを伝播させることにより,この問題を解決する新しいネットワークを提案する。
ニューロ変調は、修正エラーまたは関連信号として理解でき、エラー信号のトップダウンサインは、長期的うつ病が発生するかどうかを決定する。
論文 参考訳（メタデータ） (2021-10-14T11:57:57Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳（メタデータ） (2021-06-15T05:30:17Z) - A More Biologically Plausible Local Learning Rule for ANNs [6.85316573653194]
提案した学習規則は, 塑性と神経関連性に依存するスパイクタイミングの概念から導かれる。
MNISTとIRISデータセットのバイナリ分類に関する予備評価は、バックプロパゲーションと同等の性能を示す。
学習のローカルな性質は、ネットワークにおける大規模分散学習と並列学習の可能性をもたらす。
論文 参考訳（メタデータ） (2020-11-24T10:35:47Z) - Meta-Learning through Hebbian Plasticity in Random Networks [12.433600693422235]
生涯学習と適応性は生物学的エージェントの2つの決定的な側面である。
この生物学的メカニズムに着想を得て,シナプス固有のヘビアン学習規則のみを探索する探索法を提案する。
完全にランダムな重みから始めると、発見されたヘビーンの規則により、エージェントは動的2Dピクセル環境をナビゲートできる。
論文 参考訳（メタデータ） (2020-07-06T14:32:31Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳（メタデータ） (2020-06-22T08:35:58Z) - Learning to Learn with Feedback and Local Plasticity [9.51828574518325]
我々はメタラーニングを用いて、フィードバック接続と局所的、生物学的にインスパイアされた学習ルールを用いて学習するネットワークを発見する。
実験の結果, メタトレーニングネットワークは, 多層アーキテクチャにおけるオンラインクレジット割り当てにフィードバック接続を効果的に利用していることがわかった。
論文 参考訳（メタデータ） (2020-06-16T22:49:07Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。