論文の概要: Meta-Learning Biologically Plausible Plasticity Rules with Random Feedback Pathways

• arxiv url: http://arxiv.org/abs/2210.16414v1
• Date: Fri, 28 Oct 2022 21:40:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 15:11:12.499441
• Title: Meta-Learning Biologically Plausible Plasticity Rules with Random Feedback Pathways
• Title（参考訳）: ランダムフィードバック経路を有するメタラーニング型生物可塑性規則
• Authors: Navid Shervani-Tabar and Robert Rosenbaum
• Abstract要約: 我々は,解釈可能で生物学的に妥当な可塑性規則を発見するための新しいメタ可塑性法を開発した。 本研究は,生物の制約を満たす効果的な,解釈可能な学習規則を見出すためのメタ塑性の可能性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation is widely used to train artificial neural networks, but its relationship to synaptic plasticity in the brain is unknown. Some biological models of backpropagation rely on feedback projections that are symmetric with feedforward connections, but experiments do not corroborate the existence of such symmetric backward connectivity. Random feedback alignment offers an alternative model in which errors are propagated backward through fixed, random backward connections. This approach successfully trains shallow models, but learns slowly and does not perform well with deeper models or online learning. In this study, we develop a novel meta-plasticity approach to discover interpretable, biologically plausible plasticity rules that improve online learning performance with fixed random feedback connections. The resulting plasticity rules show improved online training of deep models in the low data regime. Our results highlight the potential of meta-plasticity to discover effective, interpretable learning rules satisfying biological constraints.
• Abstract（参考訳）: バックプロパゲーションは人工神経ネットワークの訓練に広く用いられているが、脳のシナプス可塑性との関係は不明である。 バックプロパゲーションのいくつかの生物学的モデルはフィードフォワード接続と対称なフィードバック投影に依存するが、実験はそのような対称な後方接続の存在を共形化しない。 ランダムフィードバックアライメントは、エラーが固定されたランダムな後方接続を通じて後方に伝播する代替モデルを提供する。 このアプローチは、浅いモデルをうまくトレーニングするが、ゆっくりと学習し、より深いモデルやオンライン学習ではうまく機能しない。 本研究では, オンライン学習性能を向上させるための, 解釈可能な, 生物学的に妥当な可塑性規則を探索するメタ可塑性法を提案する。 その結果得られる可塑性ルールは、低データ環境における深層モデルのオンライントレーニングを改善したことを示している。 本研究は,生物学的制約を満たす効果的な解釈可能な学習規則を発見するためのメタ塑性の可能性に注目した。

関連論文リスト

• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of Spiking Neural Systems [73.18020682258606]
  我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。 コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。 いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A Spiking Neuron Synaptic Plasticity Model Optimized for Unsupervised Learning [0.0]
  スパイキングニューラルネットワーク(SNN)は、教師なし、教師なし、強化学習など、あらゆる種類の学習タスクを実行するための視点ベースとして考えられている。 SNNでの学習は、シナプス前およびシナプス後ニューロンの活動に依存するシナプス重みのダイナミクスを決定する規則であるシナプス可塑性によって実施される。
  論文  参考訳（メタデータ） (2021-11-12T15:26:52Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Unveiling the role of plasticity rules in reservoir computing [0.0]
  Reservoir Computing (RC) は機械学習において魅力的なアプローチである。 我々は,RCの性能向上につながる変化に対して,塑性規則が果たす役割を分析する。
  論文  参考訳（メタデータ） (2021-01-14T19:55:30Z)
• A More Biologically Plausible Local Learning Rule for ANNs [6.85316573653194]
  提案した学習規則は, 塑性と神経関連性に依存するスパイクタイミングの概念から導かれる。 MNISTとIRISデータセットのバイナリ分類に関する予備評価は、バックプロパゲーションと同等の性能を示す。 学習のローカルな性質は、ネットワークにおける大規模分散学習と並列学習の可能性をもたらす。
  論文  参考訳（メタデータ） (2020-11-24T10:35:47Z)
• Learning to Learn with Feedback and Local Plasticity [9.51828574518325]
  我々はメタラーニングを用いて、フィードバック接続と局所的、生物学的にインスパイアされた学習ルールを用いて学習するネットワークを発見する。 実験の結果, メタトレーニングネットワークは, 多層アーキテクチャにおけるオンラインクレジット割り当てにフィードバック接続を効果的に利用していることがわかった。
  論文  参考訳（メタデータ） (2020-06-16T22:49:07Z)
• Adaptive Reinforcement Learning through Evolving Self-Modifying Neural Networks [0.0]
  強化学習(RL)の現在の手法は、特定の時間間隔で反射した後にのみ新しい相互作用に適応する。 最近の研究は、バックプロパゲーションを用いて訓練された単純なRLタスクの性能を向上させるために、ニューラルネットワークに神経修飾塑性を付与することでこの問題に対処している。 ここでは,四足歩行におけるメタラーニングの課題について検討する。 その結果、自己修飾プラスチックネットワークを用いて進化したエージェントは、複雑なメタ学習タスクに適応し、グラデーションを使って更新された同じネットワークよりも優れていることが示される。
  論文  参考訳（メタデータ） (2020-05-22T02:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。