論文の概要: Context selectivity with dynamic availability enables lifelong continual
learning
- arxiv url: http://arxiv.org/abs/2306.01690v2
- Date: Thu, 25 Jan 2024 12:41:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 18:26:24.804957
- Title: Context selectivity with dynamic availability enables lifelong continual
learning
- Title(参考訳): ダイナミックアベイラビリティによるコンテキスト選択は生涯連続学習を可能にする
- Authors: Martin Barry, Wulfram Gerstner, Guillaume Bellec
- Abstract要約: 脳は複雑なスキルを学び、何年も練習を止め、その間に他のスキルを学び、必要なときに元の知識を取り戻すことができる。
本稿では,生涯学習における古典的な研究を基盤とした,生物工学的なメタ塑性制御法を提案する。
ニューロン選択性とニューロン全体の統合は、脳内でCLを可能にするための、シンプルで実行可能なメタ可塑性仮説であることを示す。
- 参考スコア(独自算出の注目度): 8.828725115733986
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: "You never forget how to ride a bike", -- but how is that possible? The brain
is able to learn complex skills, stop the practice for years, learn other
skills in between, and still retrieve the original knowledge when necessary.
The mechanisms of this capability, referred to as lifelong learning (or
continual learning, CL), are unknown. We suggest a bio-plausible
meta-plasticity rule building on classical work in CL which we summarize in two
principles: (i) neurons are context selective, and (ii) a local availability
variable partially freezes the plasticity if the neuron was relevant for
previous tasks. In a new neuro-centric formalization of these principles, we
suggest that neuron selectivity and neuron-wide consolidation is a simple and
viable meta-plasticity hypothesis to enable CL in the brain. In simulation,
this simple model balances forgetting and consolidation leading to better
transfer learning than contemporary CL algorithms on image recognition and
natural language processing CL benchmarks.
- Abstract(参考訳): 「自転車の乗り方を決して忘れないのに、どうすればいいの?」
脳は複雑なスキルを学び、何年も練習を止め、その間に他のスキルを学び、必要なときに元の知識を取り戻すことができる。
この能力のメカニズムは、生涯学習(または連続学習、CL)と呼ばれるが、不明である。
我々はclの古典的作業に基づく生体可塑性規則を提案し,2つの原則をまとめる。
(i)ニューロンは文脈選択的であり、
(2)ニューロンが以前のタスクに関係していた場合、局所可用性変数は部分的に可塑性を凍結する。
これらの原理の新しい神経中心形式化において、ニューロン選択性とニューロン全体の統合は、脳内のclを可能にするためのシンプルで実行可能なメタ可塑性仮説であることが示唆された。
シミュレーションでは、この単純なモデルは、画像認識や自然言語処理のCLベンチマークにおいて、現代のCLアルゴリズムよりも優れた転送学習をもたらす。
関連論文リスト
- MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Control of synaptic plasticity via the fusion of reinforcement learning
and unsupervised learning in neural networks [0.0]
認知神経科学では、シナプスの可塑性が我々の驚くべき学習能力に不可欠な役割を担っていると広く受け入れられている。
このインスピレーションにより、強化学習と教師なし学習の融合により、新しい学習規則が提案される。
提案した計算モデルでは,非線形最適制御理論を誤差フィードバックループ系に類似させる。
論文 参考訳(メタデータ) (2023-03-26T12:18:03Z) - Flexible Phase Dynamics for Bio-Plausible Contrastive Learning [11.179324762680297]
Contrastive Learning (CL)アルゴリズムは、伝統的に剛性、時間的に非局所的、周期的な学習ダイナミクスで実装されている。
この研究は、CLが生物学的またはニューロモルフィックシステムによってどのように実装されるかを研究する研究に基づいている。
このような学習は時間的に局所的に行うことができ、標準的な訓練手順の動的要求の多くを緩和しても機能することを示す。
論文 参考訳(メタデータ) (2023-02-24T03:18:45Z) - Bio-Inspired, Task-Free Continual Learning through Activity
Regularization [3.5502600490147196]
継続的学習アプローチは通常、個別のタスク境界を必要とする。
我々は神経科学からインスピレーションを得ており、忘れるのを防ぐために、スパースで重複しない神経表現が提案されている。
空間性に加えて,各層に横方向のリカレント接続を導入し,事前学習した表現をさらに保護する。
本手法は,タスク境界に関する情報を必要とせずに,弾性重み統合やシナプスインテリジェンスなどのよく知られたCL手法と類似した性能を実現する。
論文 参考訳(メタデータ) (2022-12-08T15:14:20Z) - The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。
私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文 参考訳(メタデータ) (2022-07-04T11:27:08Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。
人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文 参考訳(メタデータ) (2021-02-18T14:53:12Z) - Continual Learning with Deep Artificial Neurons [0.0]
本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。
ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。
適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
論文 参考訳(メタデータ) (2020-11-13T17:50:10Z) - Towards a Neural Model for Serial Order in Frontal Cortex: a Brain
Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。
我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。
これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
論文 参考訳(メタデータ) (2020-05-22T14:29:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。