論文の概要: Learning to Learn with Feedback and Local Plasticity
- arxiv url: http://arxiv.org/abs/2006.09549v1
- Date: Tue, 16 Jun 2020 22:49:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 19:02:24.359162
- Title: Learning to Learn with Feedback and Local Plasticity
- Title（参考訳）: フィードバックと局所可塑性で学ぶこと
- Authors: Jack Lindsey, Ashok Litwin-Kumar
- Abstract要約: 我々はメタラーニングを用いて、フィードバック接続と局所的、生物学的にインスパイアされた学習ルールを用いて学習するネットワークを発見する。
実験の結果, メタトレーニングネットワークは, 多層アーキテクチャにおけるオンラインクレジット割り当てにフィードバック接続を効果的に利用していることがわかった。
- 参考スコア（独自算出の注目度）: 9.51828574518325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interest in biologically inspired alternatives to backpropagation is driven
by the desire to both advance connections between deep learning and
neuroscience and address backpropagation's shortcomings on tasks such as
online, continual learning. However, local synaptic learning rules like those
employed by the brain have so far failed to match the performance of
backpropagation in deep networks. In this study, we employ meta-learning to
discover networks that learn using feedback connections and local, biologically
inspired learning rules. Importantly, the feedback connections are not tied to
the feedforward weights, avoiding biologically implausible weight transport.
Our experiments show that meta-trained networks effectively use feedback
connections to perform online credit assignment in multi-layer architectures.
Surprisingly, this approach matches or exceeds a state-of-the-art
gradient-based online meta-learning algorithm on regression and classification
tasks, excelling in particular at continual learning. Analysis of the weight
updates employed by these models reveals that they differ qualitatively from
gradient descent in a way that reduces interference between updates. Our
results suggest the existence of a class of biologically plausible learning
mechanisms that not only match gradient descent-based learning, but also
overcome its limitations.
- Abstract（参考訳）: 生物学的にインスパイアされたバックプロパゲーションの選択肢への関心は、深層学習と神経科学のつながりを前進させ、オンライン、継続的な学習のようなタスクにおけるバックプロパゲーションの欠点に対処するという欲求によって引き起こされる。
しかし、脳が採用しているような局所的なシナプス学習規則は、ディープネットワークにおけるバックプロパゲーションのパフォーマンスと一致しなかった。
本研究では,メタラーニングを用いて,フィードバック接続と局所的,生物学的にインスパイアされた学習ルールを用いて学習するネットワークを探索する。
重要なことに、フィードバック接続はフィードフォワードウェイトに縛られず、生物学的に目立たない重量輸送を避けている。
実験の結果, メタトレーニングネットワークは, 多層アーキテクチャにおけるオンラインクレジット割り当てにフィードバック接続を効果的に利用していることがわかった。
驚くべきことに、このアプローチは回帰と分類タスクに関する最先端の勾配に基づくオンラインメタ学習アルゴリズムと一致し、特に連続的な学習において優れている。
これらのモデルが用いた重み更新の解析により、更新間の干渉を減らす方法で勾配降下と定性的に異なることが判明した。
本研究は,勾配降下型学習に適合するだけでなく,その限界を克服する生物学的に妥当な学習機構の存在を示唆する。
関連論文リスト
- Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning [32.122425860826525]
生物学的妥当性の欠如が 批判されている
本稿では,ニューラルネットワークにおけるクレジット代入のための生物学的に妥当なフレームワークである対流学習(CCL)を提案する。
我々の研究は、ニューラルネットワークにおける学習と適応の代替メカニズムを提供する、生物学的にインスパイアされた、そして実証可能な学習アルゴリズムの方向性を示す。
論文 参考訳（メタデータ） (2024-09-30T00:47:13Z) - Improving Performance in Continual Learning Tasks using Bio-Inspired
Architectures [4.2903672492917755]
我々は,シナプスの可塑性機構とニューロ変調を組み込んだ,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。
提案手法により,Split-MNIST,Split-CIFAR-10,Split-CIFAR-100データセット上でのオンライン連続学習性能が向上する。
さらに,鍵設計概念を他のバックプロパゲーションに基づく連続学習アルゴリズムに統合することにより,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-08-08T19:12:52Z) - Meta-Learning Biologically Plausible Plasticity Rules with Random
Feedback Pathways [0.0]
我々は,解釈可能で生物学的に妥当な可塑性規則を発見するための新しいメタ可塑性法を開発した。
本研究は,生物の制約を満たす効果的な,解釈可能な学習規則を見出すためのメタ塑性の可能性を明らかにするものである。
論文 参考訳（メタデータ） (2022-10-28T21:40:56Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳（メタデータ） (2022-10-06T23:50:38Z) - Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。
我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。
DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
論文 参考訳（メタデータ） (2022-04-14T22:06:21Z) - Recursive Least-Squares Estimator-Aided Online Learning for Visual
Tracking [58.14267480293575]
オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。
これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。
我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
論文 参考訳（メタデータ） (2021-12-28T06:51:18Z) - Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。
ネットワークの学習力学を様々な観点から研究する。
論文 参考訳（メタデータ） (2021-10-21T23:49:23Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳（メタデータ） (2021-06-15T05:30:17Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Adaptive Reinforcement Learning through Evolving Self-Modifying Neural
Networks [0.0]
強化学習(RL)の現在の手法は、特定の時間間隔で反射した後にのみ新しい相互作用に適応する。
最近の研究は、バックプロパゲーションを用いて訓練された単純なRLタスクの性能を向上させるために、ニューラルネットワークに神経修飾塑性を付与することでこの問題に対処している。
ここでは,四足歩行におけるメタラーニングの課題について検討する。
その結果、自己修飾プラスチックネットワークを用いて進化したエージェントは、複雑なメタ学習タスクに適応し、グラデーションを使って更新された同じネットワークよりも優れていることが示される。
論文 参考訳（メタデータ） (2020-05-22T02:24:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。